基于判别分析的跨模态哈希和量化检索研究

发布时间:2024-04-06 19:07
  随着互联网信息技术的发展,多媒体数据迅猛增长。针对海量的多媒体数据,如何实现不同模态数据之间的快速检索成为信息检索领域一个具有挑战性的问题。跨模态哈希(Cross-modal Hashing)方法和跨模态量化(Cross-modal Quantization)方法将异构的多模态数据投影到同构的编码空间中,将高维的数据特征转化成紧凑的二值编码,具有检索速度快和存储空间小等优势,引起了研究人员广泛的关注。此外,标签信息(Label Information)是多模态数据的重要特征,通常用来构建不同模态间的语义关系。当前的跨模态方法大多在编码空间中保存模态内(Intra-Modal)和模态间(Inter-Modal)的相似性,而忽略了编码的判别性。本文结合标签信息分别对跨模态哈希和跨模态量化开展了研究,主要内容如下:1.提出基于判别离散哈希的跨模态检索算法。首先利用线性分类器,将哈希编码看作标签信息分类的结果,然后分别学习多模态数据从原始特征空间到编码空间的线性映射作为哈希函数。在编码的学习过程中,保留各模态原始特征的局部相似性,并使用Laplace矩阵来表示。最后,通过特定模态的哈希函数将不...

【文章页数】:63 页

【学位级别】:硕士

【部分图文】:

图2-1文本的语义主题和图像的语义概念??Fig.2-1?The?semantic?topics?of?text?and?semantic?concepts?of?image??

图2-1文本的语义主题和图像的语义概念??Fig.2-1?The?semantic?topics?of?text?and?semantic?concepts?of?image??

/=!??其中a,a,?/都是平衡参数,/?〇?=?||_|匕是正则化项。文本的语义主题和图像??的语义概念如图2-1所示(取自文献f21p。????Topic?I??Tlie?landscape?here?-?ihc?blue?sk\.?the?liule?(natural?l....


图2-2?CCQ的化过程??Fig.2-2?The?quantization?process?of?CC〇??

图2-2?CCQ的化过程??Fig.2-2?The?quantization?process?of?CC〇??

CCQ采用笛卡尔K均值量化(Cartesian?K-MeansW%通过学习旋转矩阵兄'??将多模态的数据从原始空间转移到公共子空间。,旋转矩阵??/TeRh"5。CCQ认为同一对象在v个模态下的特征尽管不相同,但是映射到公??共空间后应当可以用相同的码本和编码来量化,即C:=C?....


图2-3图像和文本潜在语义的采集过程??Fig.2-3?The?collection?process?of?latent?semantics?on?image?and?text??H

图2-3图像和文本潜在语义的采集过程??Fig.2-3?The?collection?process?of?latent?semantics?on?image?and?text??H

:1,U0,1}、??v?=?\...Vy?m?=?\...My?n?=?\...N??其中人是每个投态的权lR参数,Z?1’是旋转矩阵。CCQ的原理如图2-2?(収n文??献[23])所示。??Latent?4?Isomorphic?4?■??Image?45a?Semanti....


图3-1不同检索任务下DDH算法和对?

图3-1不同检索任务下DDH算法和对?

DDH?0.6635?0.6677?0.6775?0.6716??进一步观察图3-1、图3-2、图3-3和图3-4中的PR曲线和top-N精确率曲??线发现,DDH算法的表现在总体上要优于对比算法,这与从表3-2和表3-3中得??到的结论是一致的。??26??



本文编号:3947060

资料下载
论文发表

本文链接:https://www.wllwen.com/kejilunwen/shengwushengchang/3947060.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户cfd81***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com