基于字典学习的跨模态监督离散哈希方法研究

发布时间：2020-11-06 14:07

　　 近年来,因特网的发展和社交媒体的兴起使得多媒体数据规模增长迅速同时数据种类也不断增加。给定某个模态的查询,跨模态检索希望返回的是与其相似的另一个模态的样本,比如利用文本来检索相关的图片或视频。哈希方法凭借其检索速度快、存储开销小的优势在大规模数据检索领域引起了相当多的关注。很多基于哈希学习的跨模态检索方法被提出并取得了一定的检索效果,然而这些方法可能仍有一些限制。首先,大部分哈希检索方法直接采用线性映射来将不同模态的数据映射到公共的汉明空间中。哈希方法的目的是相似性保持,由于异构数据的复杂性,线性映射难以保持原始空间中的相似性,导致此类方法存在巨大的误差。其次,大多数监督跨模态哈希方法构建相似性矩阵的规则是:如果两个实例有至少一个相同的标签则视为相似。然而这种定义方式过于简单且丢失了很多有用的监督信息。最后,大多数哈希方法在优化的时候选择松弛或者舍弃离散限制来解决一个连续优化问题,再将实值解量化成二进制码,这会导致巨大的量化误差。目前已有一些论文提出采用离散优化策略,但这些方法通常仅适用于单模态。为了克服这些限制,本文提出了一个新颖的跨模态哈希方法,称作基于字典学习的监督离散哈希(Dictionary Learning based Supervised Discrete Hashing,简写为DLSDH)。DLSDH是两步哈希方法,分为哈希码学习过程和哈希函数学习过程。DLSDH构造的成对相似性矩阵和离散迭代优化策略使得哈希码学习过程学得更高质量的哈希码。在哈希函数学习阶段,DLSDH首先为每个实例生成稀疏表示,再映射到低维汉明空间中。本文提出的方法其主要贡献有:·提出了一种基于字典学习的监督跨模态哈希方法,首先为每一个模态学习一个字典并为每一个实例生成稀疏表示,相比于复杂的原始特征稀疏表示更适合映射到低维隐空间中,解决了相似的实例在低维隐空间中难以接近的问题。·为了充分利用原始标签信息,DLSDH使用余弦相似度来计算成对的相似性,新构建的相似性矩阵能更好地监督哈希码学习过程。·DLSDH采用列采样策略来解决离散优化问题,避免了量化带来的误差。同时,DLSDH在训练时使用的是整个数据集而不是采样数据,保证了哈希函数的泛化性能。·通过在三个数据集上与先进跨模态哈希方法进行对比实验,证明DLSDH的检索性能优于或者媲美先进对比方法。同时,实验证明了余弦相似性矩阵的有效性。
【学位单位】：山东大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TP311.13;TP18
【部分图文】：

?—ＣＶＨ?Ｉ?Ｉ?Ｉ?—４—ＣＶＨ??〇２４?－???１?－?＿?＿?—如ＩＭＨ??１?１??１???＊?ＳＣＭ－ｏｒｔｈ?〇？?Ｉ?了?ＳＣＭ－ｏｒｔｈ??〇２２??ｉ??ｊ．?—?＿?－－ＳＣＭ－ｓｅｑ?．?“?，?ｉ?ＳＣＭ－ｓｅｑ??＜?ｒ－＊－＊＊＾＊＾＊＾！?１?？￣４?一?ＣＭＦＨ?〇．ｆｌ｜?￣??１?＋——ＣＭＦＨ??〇１〇?＾＾＾＾?＾ｏｏ?〇１〇?＾?＾５?丄??Ｎ?Ｎ??图４．１?Ｗｉｋｉ数据集哈希码为３２位情况下Ｔｏｐ－Ｎ?ｐｒｅｃｉｓｉｏｎ曲线??４．２实验结果与分析??４．２．１?Ｗｉｋｉ数据集上的结果与分析??本小节在Ｗｉｋｉ数据集上根据上述对比方法和评价标准进行对比实验。对比??方法和本文提出的ＤＬＳＤＨ在评价标准ＭＡＰ上的结果展示在表格４．１中。为了??进一步展示ＤＬＳＤＨ和对比方法的效果，图４．１?－图４．４中分别画出３２位和６４位??的?Ｔｏｐ－Ｎ?ｐｒｅｃｉｓｉｏｎ?和?Ｐｒｅｃｉｓｉｏｎ－Ｐｅｃａｌｌ?曲线。从表?４．１?和图?４．１?－?４．４?可以观察到：??？在Ｉｍａｇｅ－ｔｏ－Ｔｅｘｔ任务上，在哈希码长度为８位和１６位时仅ＳＲＤＭＨ的ＭＡＰ??值优于ＤＬＳＤＨ，?ＤＬＳＤＨ在哈希码长度为３２位和６４位时取得最好的ＭＡＰ??值。也就是说随着哈希码长度增加，ＤＬＳＤＨ的ＭＡＰ值增加的更加显著，??这说明更长的哈希码可以捕获更多有用的信息。??？在Ｔｅｘｔ－ｔｏ－Ｉｍａｇｅ任务上，哈希码长度从８位到６４位，ＤＬＳＤＨ的ＭＡＰ值都??优于其他对比方法。??？在两个检索任务上，ＤＬＳＤＨ的

?」?＿?！??０．２４?？?Ｊ?－?－?＇ｒ?－?ＳＣＭ￣ｏｒｔｈ?？?０．７丨言?ｔ?＿?ＳＣＭ－ｏｒｔｈ??＇?１Ｌ?Ｔｔ?，?ＳＣＭ￣ｓｅｑ?Ｊ?＊一－Ａ一－，?一▲巉，ＳＣＭ－ｓｅｑ??０?２２?－?－?－▲?ｉ－?——ａ．?－?－??？－?ＣＭＦＨ?〇．〇［??１—?…？一?ＣＭＦＨ??｜?．?＾：ＣＣＱＭＨ?Ｉ?＼?＿?＿?＾：ＣＣＱＭＨ?．??〇，０??Ｍ?５＾?＾?０．２?丄?Ｌ?＂?〇＇８?＊?＾??Ｒｅｃａｌｌ?Ｒｅｃａｌｌ??图４．２?Ｗｉｋｉ数据集哈希码为３２位情况下Ｐｒｅｃｉｓｉｏｎ－Ｒｅｃａｌｌ曲线??Ｉｍａｇｅ－ｔｏ－Ｔｅｘｔ?＠?６４?ｂｉｔｓ?Ｔｅｘｔ－Ｔｏ－ｌｍａｇｅ?＠?６４?ｂｉｔｓ??０．２６１?ｉ－?１?１??■?ｉ?－?Ｉ?０．８１?１?１?１??ｖ?－?Ｉ??ｉ?｜?—？—ＣＶＨ?ｉ?ｉ?ｉ?—ＣＶＨ??０．２４?ｉｆＣ：?－??＇?－１?？－ＩＭＨ?１?１?１?—ＩＭＨ??｜?；?－？－ＳＣＭ－ｏｒｔｈ?０Ｊ］?丨丨?了一－ＳＣＭ－ｏｒｔｆｉ?■??０－２２?－?ａ，?￣?Ｔ＾ｎ＾Ｖ?－?｜???—?—？？？?ＳＣＭ－ｓｅｑ?？?１?ｉ?ＳＣＭ－ｓｅｑ??－４－ＣＭＦＨ?－Ｉ???？—ＣＭＦＨ??０．２?－?－?Ｈ?－?－★－ＬＳＳＨ?＇?－Ａ—ＬＳＳＨ??§?°－１８?＿／■―ｉｔｌｓＲＤＭＨ?｜?＂?＇?－＾－ＳＲＤＭＨ??ｏ?＾＾８?—？－ＳｅＰＨ－ｋｎｎ?〇?！！Ａ?，?ＳｅＰＨ－ｋｍ??２?°－１６ｉｒ???—？＾ＤＬＳＤＨ?ｉｔ?２?〇．４?

?」?＿?！??０．２４?？?Ｊ?－?－?＇ｒ?－?ＳＣＭ￣ｏｒｔｈ?？?０．７丨言?ｔ?＿?ＳＣＭ－ｏｒｔｈ??＇?１Ｌ?Ｔｔ?，?ＳＣＭ￣ｓｅｑ?Ｊ?＊一－Ａ一－，?一▲巉，ＳＣＭ－ｓｅｑ??０?２２?－?－?－▲?ｉ－?——ａ．?－?－??？－?ＣＭＦＨ?〇．〇［??１—?…？一?ＣＭＦＨ??｜?．?＾：ＣＣＱＭＨ?Ｉ?＼?＿?＿?＾：ＣＣＱＭＨ?．??〇，０??Ｍ?５＾?＾?０．２?丄?Ｌ?＂?〇＇８?＊?＾??Ｒｅｃａｌｌ?Ｒｅｃａｌｌ??图４．２?Ｗｉｋｉ数据集哈希码为３２位情况下Ｐｒｅｃｉｓｉｏｎ－Ｒｅｃａｌｌ曲线??Ｉｍａｇｅ－ｔｏ－Ｔｅｘｔ?＠?６４?ｂｉｔｓ?Ｔｅｘｔ－Ｔｏ－ｌｍａｇｅ?＠?６４?ｂｉｔｓ??０．２６１?ｉ－?１?１??■?ｉ?－?Ｉ?０．８１?１?１?１??ｖ?－?Ｉ??ｉ?｜?—？—ＣＶＨ?ｉ?ｉ?ｉ?—ＣＶＨ??０．２４?ｉｆＣ：?－??＇?－１?？－ＩＭＨ?１?１?１?—ＩＭＨ??｜?；?－？－ＳＣＭ－ｏｒｔｈ?０Ｊ］?丨丨?了一－ＳＣＭ－ｏｒｔｆｉ?■??０－２２?－?ａ，?￣?Ｔ＾ｎ＾Ｖ?－?｜???—?—？？？?ＳＣＭ－ｓｅｑ?？?１?ｉ?ＳＣＭ－ｓｅｑ??－４－ＣＭＦＨ?－Ｉ???？—ＣＭＦＨ??０．２?－?－?Ｈ?－?－★－ＬＳＳＨ?＇?－Ａ—ＬＳＳＨ??§?°－１８?＿／■―ｉｔｌｓＲＤＭＨ?｜?＂?＇?－＾－ＳＲＤＭＨ??ｏ?＾＾８?—？－ＳｅＰＨ－ｋｎｎ?〇?！！Ａ?，?ＳｅＰＨ－ｋｍ??２?°－１６ｉｒ???—？＾ＤＬＳＤＨ?ｉｔ?２?〇．４?
【相似文献】

相关期刊论文 前10条

1 朱治兰;荆晓远;董西伟;吴飞;;有监督鉴别哈希跨模态检索[J];计算机应用与软件;2019年04期

2 蒋大宏;动态哈希方法[J];计算机工程;1993年01期

3 金汉均;吴静;;基于深度柯西哈希的图像检索研究[J];电子测量技术;2020年09期

4 鲁明;宋馥莉;;基于误差加权哈希的图像检索方法[J];河南科技;2016年17期

5 林计文;刘华文;郑忠龙;;面向图像检索的深度汉明嵌入哈希[J];模式识别与人工智能;2020年06期

6 宋欣;;哈希:品质承诺铸就品牌基石[J];现代企业文化;2012年Z1期

7 蒋大宏;实现检索代价最优的动态哈希法[J];计算机工程与应用;1994年Z2期

8 郁延珍;;基于深度多监督哈希的快速图像检索[J];计算机应用与软件;2019年11期

9 孙瑶;;深度学习哈希研究与发展[J];数据通信;2018年02期

10 潘辉;郑刚;胡晓惠;马恒太;;基于感知哈希的图像内容鉴别性能分析[J];计算机辅助设计与图形学学报;2012年07期

相关博士学位论文 前10条

1 马雷;面向大规模图像哈希学习的理论与方法研究[D];电子科技大学;2019年

2 王家乐;基于哈希学习的跨模态检索与标注方法研究[D];华中科技大学;2017年

3 马超;语义鉴别和相似性保持的哈希方法研究与应用[D];南京理工大学;2017年

4 季剑秋;面向大规模数据相似计算和搜索的哈希方法研究[D];清华大学;2015年

5 付海燕;基于图像哈希的大规模图像检索方法研究[D];大连理工大学;2014年

6 刘兆庆;图像感知哈希若干关键技术研究[D];哈尔滨工业大学;2013年

7 姚涛;基于哈希方法的跨媒体检索研究[D];大连理工大学;2017年

8 陈勇昌;基于不变特征的数字水印与感知哈希图像认证技术研究[D];华南理工大学;2014年

9 赵玉鑫;多媒体感知哈希算法及应用研究[D];南京理工大学;2009年

10 张慧;图像感知哈希测评基准及算法研究[D];哈尔滨工业大学;2009年

相关硕士学位论文 前10条

1 吴烨;基于字典学习的跨模态监督离散哈希方法研究[D];山东大学;2020年

2 杨庆涛;信息不对称问题的跨模态哈希检索算法研究[D];西安理工大学;2020年

3 王彤;深度跨媒体哈希关键技术研究[D];山东师范大学;2020年

4 王盛;基于标签对的深度哈希学习[D];南京大学;2017年

5 冯璐;面向图像检索和分类的监督哈希方法研究[D];山东大学;2017年

6 胡志锴;结合语义保护和关联挖掘的跨模态哈希检索算法研究[D];华侨大学;2019年

7 袁知洪;基于哈希学习的大规模图像检索[D];重庆邮电大学;2018年

8 许焱;基于哈希的行人重识别[D];电子科技大学;2019年

9 李嘉展;基于深度离散哈希的医学影像检索与平台实现[D];西安电子科技大学;2019年

10 李逸凡;基于哈希学习的跨模态检索技术研究[D];哈尔滨工业大学;2019年

本文编号：2873240