基于潜在语义空间学习的跨模态检索研究

发布时间：2020-03-22 13:45

【摘要】：随着大数据时代的到来,多媒体数据呈现爆炸性增长趋势,单模态数据检索技术已不能满足人们对信息获取的需求,跨模态检索技术应时而生,且日益成为信息检索领域的主流,具有理论和实际应用意义。跨模态检索的基本内容是建立跨模态数据之间的配对关系,实现利用某一模态数据,检索具有近似语义的其它模态数据。本文主要研究如何为图像文本对建模,实现跨模态数据到潜在语义空间的转换,从而缩小跨模态数据之间的语义鸿沟,实现已知某一数据的文本模态能检索出相关的图像模态数据,或者已知图像模态检索出相关的文本模态数据。为了实现大规模高特征维度多媒体数据之间的相互检索,本文提出了如下三种基于潜在语义空间学习的跨模态检索技术:1.提出一种全相似性保留的哈希跨模态检索方法(All Similarity Preserving Cross-Modal Hashing,ASPCH)。该方法利用映射矩阵将图像和文本映射到潜在语义空间的同时利用标签的监督性质对模态内和模态间的语义表示进行相应的约束,来提高检索精度。其中模态内相似性的保留采用了K近邻的算法,在数据的局部几何结构上考虑了数据的联系,对于模态间则是考虑同一对象不同模态数据之间具有同一语义标签作为约束,以此来增强了语义表示之间的关联性。2.提出一种有监督鉴别跨模态哈希检索方法(Supervised Discriminative Hashing Cross-Modal Hashing,SDCH)。该算法在利用映射矩阵将图像和文本数据映射到潜在语义空间的同时将语义表示的学习转化为可分类问题,在保留模态间语义表示的一致性的同时,考虑约束语义表示在潜在语义空间中线性可分,使得语义表示更加具有鉴别力,从而提高跨模态检索精度。3.提出一种深度语义匹配跨模态检索算法(Deep Semantic Matching,DSM)。该方法通过微调AlexNet图像深度神经网络以及训练文本深度神经网络来分别提取图像和文本的顶层特征表示,将最终的类别概率贡献向量作为图像和文本的潜在语义特征表示,从而实现图像和文本在语义空间中的直接语义匹配。深度语义匹配利用深度学习的方法将底层特征顶层化,且在特征层面实现了跨模态数据之间的潜在语义相关性,实现图文互检。本文在Wiki单标签数据集以及NUS-WIDE多标签数据集上进行了图文互检实验,结果表明本文所提方法与其它前沿算法相比具有一定的优越性。
【图文】：

近邻算法

在监督学习下，如果给定么就可以根据这种已知条件[20]，学，模型能够给出正确的输出结果。监器学习任务。训练数据是一套训练示入对象和期望输出值的数据组成。监生一个推断的功能，即能够用于映射且最简单的算法之一。它的思路是：在特征空间中最邻近）中的大多数属样本数据，分别表示为蓝色的小正则代表的是待分类的样本数据。换句于哪一个类别（或者使蓝色小正方形圆形分类。

哈希,潜在语义

图 2.2 哈希学习义空间学习跨模态检索算法都假设拥有相同语义标签的异构数据共享一个共潜在语义空间的子空间。在潜在语义空间中，来自不同模态的相接近[25]，且近年来跨模态检索中考虑潜在语义空间思想得到了很态检索中潜在语义空间学习，是不依赖训练数据的，它旨在随机图像数据和文本数据映射到同构的潜在语义空间中，进行跨模态表示分别为1(1) d nX R 和2(2) d nX R ，假设对应的映射矩阵分别征向量的长度为k ，则有：(1)I IS = P X(2)S = P X
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.3;TP18

【相似文献】