面向多媒体最近邻检索的深度紧致编码学习

发布时间：2020-11-06 05:22

　　 近年来,随着计算机和网络技术的快速发展和普及,多媒体数据的形式越来越多样化并在网络和社交媒体上呈现出爆炸性增长的趋势。如何有效管理、检索和利用这些庞大的多媒体数据成为了国内外工业界和学术界共同关注的问题。基于紧致编码的最近邻搜索技术具有占用空间小,计算复杂度低等优点,已经被广泛应用于多媒体数据的管理和分析。在本文中,我们较为全面的研究了面向多媒体数据最近邻检索的紧致编码学习算法。针对单模态和多模态等不同应用场景我们分别提出了不同的新颖算法提高最近邻检索的性能,针对无监督和有监督等不同数据类型,我们提出了不同结构来有效约束哈希编码的学习过程。同时,我们进一步分析了基于深度学习紧致编码技术的安全问题,提出了面向深度哈希的对抗样本生成算法。本文的主要研究内容可以概括如下:(1)针对单模态有监督最近邻检索,提出了一种基于双路的深度哈希算法。本算法设计了图像网络和类标网络,通过类标网络对不同类别学习特定的中心表示,来降低图像网络所学特征表示的类内差异性,同时本方法能够考虑多类别之间的相互依赖关系高效的处理多类标数据。通过同时学习哈希编码和类别中心,本方法能够降低多类标数据的类内差异性并提高学习哈希编码的有效性。(2)针对单模态无监督最近邻检索,提出了一种基于语义结构的无监督哈希算法。现有的有监督哈希算法通常利用类别信息构建语义结构来指导哈希编码的学习并取得了非常好的效果。然而在无监督情况下,我们无法利用类标信息构建相似矩阵。在本文中,通过对训练数据的深度特征统计特性进行经验性分析,我们提出了一种无监督语义相似矩阵的构建方法。通过将学习到的语义相似矩阵引入到现有的无监督哈希学习框架中,本文能够利用传统有监督的损失函数,对不同数据之间的相似关系进行优化。大量实验表明本文所提方法能够得到更优化的哈希编码。(3)针对跨模态有监督最近邻检索,提出了一种深度跨模态哈希检索算法。本算法同时考虑了类别间和类别内等多种成对约束,并引入了新的针对哈希编码的正则项对哈希编码之间的相关性进行降低。通过端对端的优化训练,本算法能够从图像直接得到哈希编码,增强了特征学习和哈希编码的协同性。大量的实验分析也验证了本文所提方法的有效性。(4)针对跨模态有监督最近邻检索,进一步提出了基于深度量化的检索算法,是最早的将量化学习引入深度跨模态检索中的工作之一。本算法显式的构建了模态间共有空间和各模态独有空间,通过将数据映射至核希尔伯特空间,学习多模态数据共有表示和各模态独有表示,本算法能够有效的对多模态数据进行解耦合。最后,在共有空间中,本算法利用类标一致的量化学习,对特征进行量化编码,在保持模态内和模态间相似性的同时能够有效降低量化损失,提高编码效率。(5)现有研究表明深度图像分类模型非常容易受到对抗样本的攻击,这也给基于深度学习的紧致编码算法带来了安全方面的关注。基于此,本文研究了现有深度哈希编码算法对对抗样本的鲁棒性。通过分析现有深度哈希算法和图像分类中的对抗样本生成算法,本文提出了一种新颖的针对深度哈希近邻检索的对抗样本生成算法,并在不同设置下验证了对抗样本的泛化性能。根据实验结果分析,本文进一步提出了一种简单有效的黑盒子攻击算法。综上,针对多媒体数据类内差异性大,模态之间的语义鸿沟以及紧致编码学习过程中量化误差较大等问题,本文提出了四种改进学习算法有效的克服了现有算法在这些问题中的不足并取得了较好的性能。同时本文提出了一种针对现有深度哈希模型的对抗样本生成算法,对当前深度紧致编码学习方法的安全性进行了研究。大量的理论分析和实验验证了本文所提方法的优越性。
【学位单位】：西安电子科技大学
【学位级别】：博士
【学位年份】：2018
【中图分类】：TP393.09;TP391.3
【部分图文】：

图.J如目目叼..
【相似文献】

相关期刊论文 前10条

1 姜大光;孙贺娟;易军凯;;基于距离的相似最近邻搜索算法研究[J];北京化工大学学报(自然科学版);2017年05期

2 程碧达;;静音钻[J];科学启蒙;2017年Z1期

3 周屹;杨泽雪;邢传军;曲天伟;;一种连续最近邻查询的优化方法[J];黑龙江工程学院学报(自然科学版);2013年04期

4 邓瑾;周梅;;基于R树及其变种的最近邻查询研究[J];现代计算机;2013年09期

5 王丹丹;郝忠孝;;道路网络中的多类型K最近邻查询[J];计算机工程与应用;2012年03期

6 刘文远;杜颖;陈子军;;不确定数据上范围受限的最近邻查询算法[J];小型微型计算机系统;2012年06期

7 蔡贺;张睿;;k最近邻域分类算法分析与研究[J];甘肃科技;2012年18期

8 管莹莹;肖迎元;李玉坤;;基于路网的连续K最近邻查询[J];天津理工大学学报;2012年06期

9 周屹;;不确定对象的反向最近邻查询研究[J];黑龙江工程学院学报(自然科学版);2012年04期

10 刘彬;王建国;;范围最近邻查询方法研究[J];泰山学院学报;2011年03期

相关博士学位论文 前10条

1 杨二昆;面向多媒体最近邻检索的深度紧致编码学习[D];西安电子科技大学;2018年

2 刘佳;路网环境下的多源最近邻查询方法研究[D];燕山大学;2019年

3 许洁;基于大间隔最近邻的度量学习算法研究[D];西安电子科技大学;2018年

4 王敏;基于二值哈希和量化的近似最近邻搜索研究[D];中国科学技术大学;2019年

5 张军旗;支持最近邻查找的高维空间索引[D];复旦大学;2007年

6 杨泽雪;空间连接及最近邻变体查询研究[D];哈尔滨理工大学;2014年

7 张婷;基于量化的近似最近邻搜索技术研究[D];中国科学技术大学;2017年

8 孙冬璞;时空数据库多类型最近邻查询的研究[D];哈尔滨理工大学;2010年

9 王建峰;基于哈希的最近邻查找[D];中国科学技术大学;2015年

10 张得天;时间依赖路网高效k最近邻查询混搭机制的研究[D];中国科学技术大学;2014年

相关硕士学位论文 前10条

1 蓝玉海;自然场景下鲁棒高效的模板匹配方法研究[D];哈尔滨工业大学;2019年

2 邓硕玮;基于哈希及聚类的高维数据近似最近邻查询研究[D];西安电子科技大学;2019年

3 黄思源;加权最近邻空间表征的高光谱遥感图像分类算法研究[D];湖南理工学院;2019年

4 杨杰;图像检索中基于近似k-近邻图的近似最近邻搜索算法研究[D];厦门大学;2018年

5 王昌旭;基于导向性分散伸展图的高效近似最近邻搜索[D];浙江大学;2019年

6 郭莹莹;空间数据库中线段组最近邻查询方法研究[D];哈尔滨理工大学;2018年

7 刘娜;基于路网数据的云端安全最近邻查询方法研究[D];安徽工业大学;2018年

8 陈瑞;路网下地理社交文本最近邻查询研究[D];浙江大学;2018年

9 赵亮;面向流式数据近似最近邻查询的降维与量化方法研究[D];南京理工大学;2018年

10 李传青;基于残差量化优化的最近邻图像检索研究[D];合肥工业大学;2018年

本文编号：2872704