基于判别分析的跨模态哈希和量化检索研究

发布时间：2024-04-06 19:07

　　随着互联网信息技术的发展,多媒体数据迅猛增长。针对海量的多媒体数据,如何实现不同模态数据之间的快速检索成为信息检索领域一个具有挑战性的问题。跨模态哈希(Cross-modal Hashing)方法和跨模态量化(Cross-modal Quantization)方法将异构的多模态数据投影到同构的编码空间中,将高维的数据特征转化成紧凑的二值编码,具有检索速度快和存储空间小等优势,引起了研究人员广泛的关注。此外,标签信息(Label Information)是多模态数据的重要特征,通常用来构建不同模态间的语义关系。当前的跨模态方法大多在编码空间中保存模态内(Intra-Modal)和模态间(Inter-Modal)的相似性,而忽略了编码的判别性。本文结合标签信息分别对跨模态哈希和跨模态量化开展了研究,主要内容如下:1.提出基于判别离散哈希的跨模态检索算法。首先利用线性分类器,将哈希编码看作标签信息分类的结果,然后分别学习多模态数据从原始特征空间到编码空间的线性映射作为哈希函数。在编码的学习过程中,保留各模态原始特征的局部相似性,并使用Laplace矩阵来表示。最后,通过特定模态的哈希函数将不...

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

图２－１文本的语义主题和图像的语义概念??Ｆｉｇ．２－１?Ｔｈｅ?ｓｅｍａｎｔｉｃ?ｔｏｐｉｃｓ?ｏｆ?ｔｅｘｔ?ａｎｄ?ｓｅｍａｎｔｉｃ?ｃｏｎｃｅｐｔｓ?ｏｆ?ｉｍａｇｅ??

／＝！??其中ａ，ａ，?／都是平衡参数，／？〇?＝?｜｜＿｜匕是正则化项。文本的语义主题和图像??的语义概念如图２－１所示（取自文献ｆ２１ｐ。????Ｔｏｐｉｃ?Ｉ??Ｔｌｉｅ?ｌａｎｄｓｃａｐｅ?ｈｅｒｅ?－?ｉｈｃ?ｂｌｕｅ?ｓｋ＼．?ｔｈｅ?ｌｉｕｌｅ?（ｎａｔｕｒａｌ?ｌ....

图２－２?ＣＣＱ的化过程??Ｆｉｇ．２－２?Ｔｈｅ?ｑｕａｎｔｉｚａｔｉｏｎ?ｐｒｏｃｅｓｓ?ｏｆ?ＣＣ〇??

ＣＣＱ采用笛卡尔Ｋ均值量化（Ｃａｒｔｅｓｉａｎ?Ｋ－ＭｅａｎｓＷ％通过学习旋转矩阵兄＇??将多模态的数据从原始空间转移到公共子空间。，旋转矩阵??／ＴｅＲｈ＂５。ＣＣＱ认为同一对象在ｖ个模态下的特征尽管不相同，但是映射到公??共空间后应当可以用相同的码本和编码来量化，即Ｃ：＝Ｃ？....

图２－３图像和文本潜在语义的采集过程??Ｆｉｇ．２－３?Ｔｈｅ?ｃｏｌｌｅｃｔｉｏｎ?ｐｒｏｃｅｓｓ?ｏｆ?ｌａｔｅｎｔ?ｓｅｍａｎｔｉｃｓ?ｏｎ?ｉｍａｇｅ?ａｎｄ?ｔｅｘｔ??Ｈ

：１，Ｕ０，１｝、??ｖ?＝?＼．．．Ｖｙ?ｍ?＝?＼．．．Ｍｙ?ｎ?＝?＼．．．Ｎ??其中人是每个投态的权ｌＲ参数，Ｚ？１’是旋转矩阵。ＣＣＱ的原理如图２－２?（収ｎ文??献［２３］）所示。??Ｌａｔｅｎｔ?４?Ｉｓｏｍｏｒｐｈｉｃ?４?■??Ｉｍａｇｅ?４５ａ?Ｓｅｍａｎｔｉ....

图３－１不同检索任务下ＤＤＨ算法和对?

ＤＤＨ?０．６６３５?０．６６７７?０．６７７５?０．６７１６??进一步观察图３－１、图３－２、图３－３和图３－４中的ＰＲ曲线和ｔｏｐ－Ｎ精确率曲??线发现，ＤＤＨ算法的表现在总体上要优于对比算法，这与从表３－２和表３－３中得??到的结论是一致的。??２６??

本文编号：3947060