基于深度学习的鲁棒图像哈希检索方法研究

发布时间：2020-04-09 13:23

【摘要】：随着信息时代的到来,互联网上的图像数据呈现爆炸性增长,如何在海量的图像中快速、准确地检索到目标图像一直是信息检索领域研究的热点。传统的图像哈希检索方法将图像特征映射到汉明空间,可以显著降低特征的维度及检索开销,但是由于传统哈希方法提取的手工特征注重图像的视觉相似性而不是语义相似性,所以限制了检索效果的提升。近年来,由于深度学习在计算机视觉领域取得了巨大成功,因此基于深度学习的图像哈希检索方法逐渐成为图像检索领域的主要研究目标。基于深度学习的图像哈希检索方法通常采用端到端的网络模型直接生成二值哈希码,但与此同时带来网络离散空间不可导问题。另外,由于数据集与实际数据存在差异,所以网络的泛化性和鲁棒性有待提高。针对以上问题,本文的具体工作如下:(1)提出一种基于CNN-F的改进网络结构与“松弛”哈希生成函数相结合的图像检索方法,通过松弛二值哈希码到连续的实值空间,使得整个网络可以进行求导并通过反向传播算法进行学习。(2)改进网络的损失函数,通过分类损失和对比损失相结合,对比损失适宜检索任务,而分类损失和加入权重可以在一定程度上降低对比损失带来的正负样本不平衡问题对网络性能的影响。另外,去掉二值约束正则项,避免引入多余的辅助变量和计算。(3)结合以上创新点,设计一个伪孪生网络,在主网络的输入层前加入空间转换网络,使网络能够根据图像内容自适应学习多种变换信息,增加网络的泛化性及鲁棒性,使网络在较少数据集上训练也能获得很好的检索性能,同时采用互学习训练策略,提高网络的训练稳定性和加速网络的收敛。通过在CIFAR-10和NUS-WIDE两个数据集上进行充分的实验验证,结果表明这些创新点使图像检索性能都有一定提升,而结合这些创新点又进一步提高了检索的准确率,例如,在CIFAR-10数据集上,12比特位的哈希码检索的均值平均准确率(mAP)达到了79.8%,已经超过了当前许多顶尖的方法。
【图文】：

法的研究大部分是端到端的方法，将图像的特征提取和哈希学习在同一个网络中实现，通过方向传播算法不断优化网络性能。2.3.1 卷积神经网络哈希其实最早基于深度学习的哈希算法严格意义上应该是2009年由Hinton提出的语义哈希方法（Semantic Hashing）[33]。但是语义哈希方法中仅仅使用深度网络提供的非线性能力学习哈希函数，采用的还是传统的底层特征作为输入，，和现在深度哈希算法使用深度特征还是有一定的区别，因此这里不做深入讨论。直到2014年，RongkaiXia等人在AAAI上提出的卷积神经网络哈希（Convolutional Neural Network Hashing，CNNH）[23]算法，基于深度学习的哈希算法正式进入研究者的视野。CNNH算法分为两个阶段，算法思想如图2.4所示：

第二阶段：针对学习的哈希码和挑选的图像离散类标签构建深度神经网络，通过训练CNN同时进行二值哈希码拟合和输入图片的特征学习。作者将二值哈希码拟合转换成多标签预测问题，并且为了提升性能还加入了分类损失函数。CNNH算法的检索性能明显优于传统的使用手工特征的哈希方法，但是由于该方法不是端到端的，两阶段的学习过程将图像特征表示和哈希学习拆分开来，无法发挥深度学习的全部能力。2.3.2 深度神经网络哈希为了更好发挥深度学习的潜力，2015年HanjiangLai等人在CVPR提出端到端的深度神经网络哈希算法（Deep Neural Network Hashing，DNNH）[24]。相比于CNNH，DNNH网络更深并且将特征学习和哈希学习在同一个网络中实现，网络模型结构图如图2.5所示：
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP18

【相似文献】

相关期刊论文 前10条

1 蒋大宏;动态哈希方法[J];计算机工程;1993年01期

2 鲁明;宋馥莉;;基于误差加权哈希的图像检索方法[J];河南科技;2016年17期

3 宋欣;;哈希:品质承诺铸就品牌基石[J];现代企业文化;2012年Z1期

4 蒋大宏;实现检索代价最优的动态哈希法[J];计算机工程与应用;1994年Z2期

5 郁延珍;;基于深度多监督哈希的快速图像检索[J];计算机应用与软件;2019年11期

6 孙瑶;;深度学习哈希研究与发展[J];数据通信;2018年02期

7 潘辉;郑刚;胡晓惠;马恒太;;基于感知哈希的图像内容鉴别性能分析[J];计算机辅助设计与图形学学报;2012年07期

8 牛夏牧;焦玉华;;感知哈希综述[J];电子学报;2008年07期

9 徐泽明;侯紫峰;;串的快速连续弱哈希及其应用[J];软件学报;2011年03期

10 郭呈呈;于凤芹;陈莹;;改进哈希编码加权排序的图像检索算法[J];传感器与微系统;2018年09期

相关会议论文 前10条

1 张维克;孔祥维;尤新刚;;安全鲁棒的图像感知哈希技术[A];第七届全国信息隐藏暨多媒体信息安全学术大会论文集[C];2007年

2 刘玉莹;刘宏哲;袁家政;何乔鹏;;深度哈希在大规模图像处理中的应用[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年

3 夏斌;王斌;关志峰;;一种基于多维哈希链的M-Commerce微支付方案[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年

4 吴万烽;王汝传;黄海平;孙力娟;;Sead协议哈希链机制的分析与改进[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 张啸;邵健;吴飞;庄越挺;;SSH:基于稀疏谱哈希的图像索引[A];第六届和谐人机环境联合学术会议（HHME2010)、第19届全国多媒体学术会议（NCMT2010）、第6届全国人机交互学术会议（CHCI2010）、第5届全国普适计算学术会议（PCC2010）论文集[C];2010年

6 尚凤军;潘英俊;;一种双哈希IP数据包分类算法研究[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

7 王国仁;叶峰;王欣晖;于戈;郑怀远;;NOW环境下并行哈希连接算法的设计与实现[A];第十五届全国数据库学术会议论文集[C];1998年

8 吴万烽;王汝传;黄海平;李玲娟;;基于可再生哈希链及二次示证方案的安全高效距离向量协议[A];江苏省电子学会2010年学术年会论文集[C];2010年

9 何云峰;林朝辉;于俊清;管涛;;基于位置敏感哈希的分布式高维索引方法研究[A];第八届和谐人机环境联合学术会议（HHME2012)论文集NCMT[C];2012年

10 魏波;;哈希DR1010COD测定仪在COD分析中的应用[A];四川省环境科学学会二0一一年学术年会论文集[C];2011年

相关重要报纸文章 前2条

1 ;中华人民共和国和约旦哈希姆王国关于建立战略伙伴关系的联合声明[N];人民日报;2015年

2 韩大庆 李跃坤 顾晨曦;哈希姆:进入南亚市场成本低[N];中国贸易报;2006年

相关博士学位论文 前10条

1 马雷;面向大规模图像哈希学习的理论与方法研究[D];电子科技大学;2019年

2 王家乐;基于哈希学习的跨模态检索与标注方法研究[D];华中科技大学;2017年

3 马超;语义鉴别和相似性保持的哈希方法研究与应用[D];南京理工大学;2017年

4 季剑秋;面向大规模数据相似计算和搜索的哈希方法研究[D];清华大学;2015年

5 付海燕;基于图像哈希的大规模图像检索方法研究[D];大连理工大学;2014年

6 刘兆庆;图像感知哈希若干关键技术研究[D];哈尔滨工业大学;2013年

7 姚涛;基于哈希方法的跨媒体检索研究[D];大连理工大学;2017年

8 陈勇昌;基于不变特征的数字水印与感知哈希图像认证技术研究[D];华南理工大学;2014年

9 赵玉鑫;多媒体感知哈希算法及应用研究[D];南京理工大学;2009年

10 张慧;图像感知哈希测评基准及算法研究[D];哈尔滨工业大学;2009年

相关硕士学位论文 前10条

1 方杨;基于深度学习的鲁棒图像哈希检索方法研究[D];华中科技大学;2019年

2 李艳暖;深度分段哈希图像检索算法设计与实现[D];华中科技大学;2019年

3 胡志锴;结合语义保护和关联挖掘的跨模态哈希检索算法研究[D];华侨大学;2019年

4 袁知洪;基于哈希学习的大规模图像检索[D];重庆邮电大学;2018年

5 许焱;基于哈希的行人重识别[D];电子科技大学;2019年

6 李嘉展;基于深度离散哈希的医学影像检索与平台实现[D];西安电子科技大学;2019年

7 李逸凡;基于哈希学习的跨模态检索技术研究[D];哈尔滨工业大学;2019年

8 徐祥锋;基于深度哈希的图像示例搜索算法研究[D];南京邮电大学;2019年

9 杜佳宁;基于潜在语义学习的跨模态哈希检索算法研究[D];大连理工大学;2019年

10 尚斌;弱监督跨模态哈希检索方法研究[D];西安电子科技大学;2019年

本文编号：2620810