面向图文检索的跨模态学习算法研究

发布时间：2022-08-02 20:25

　　近年来,多媒体数据呈爆炸式增长且以不同形态呈现在互联网中,多媒体数据的关联分析和处理已成为重要研究课题。其中,跨模态检索技术更是受到工业界和学术界的广泛关注。与传统单模态信息检索技术不同,跨模态检索通常使用任意模态的查询数据检索来自其它模态语义相关的实例。然而,不同模态数据通常存在于不同的特征空间且底层特征和高层语义之间难以关联,这就导致了跨模态检索任务中的基本挑战:如何对齐底层“异构表征”及桥接高层“语义鸿沟”。除此之外,在实际应用中,多媒体数据往往呈现出多而杂的特性,这也衍生出一系列数据标注困难、数据缺失及检索效率低下等问题。因此本文在关注跨模态检索技术中基本问题的同时,还在数据自动标注、缺失数据补齐及检索效率提升等方面进行了相关研究。具体研究内容概括如下:1、针对跨模态检索中异构表征及语义鸿沟问题,本文提出了一种基于多类别联合子空间学习的跨模态检索算法。鉴于现有跨模态检索算法普遍忽略了不同类别的语义分布差异,本算法提出针对特定任务和特定类别学习特定的投影矩阵,并通过一种联合学习策略,尽可能区分语义分布差异的同时充分挖掘类间语义重叠信息。在检索阶段,结合具体样例通过一个预训练的线性... 

【文章页数】：83 页

【学位级别】：硕士

【部分图文】：

图像-文本间跨模态检索示例

MJSL算法基本框架

Wikipedia和PascalSentence数据集上每一类mAP得分

【参考文献】：
期刊论文
[1]多媒体内容理解的研究现状与展望[J]. 彭宇新,綦金玮,黄鑫.  计算机研究与发展. 2019(01)
[2]跨模态检索研究综述[J]. 欧卫华,刘彬,周永辉,宣瑞晟.  贵州师范大学学报(自然科学版). 2018(02)
[3]跨媒体分析与推理:研究进展与发展方向（英文）[J]. Yu-xin PENG,Wen-wu ZHU,Yao ZHAO,Chang-sheng XU,Qing-ming HUANG,Han-qing LU,Qing-hua ZHENG,Tie-jun HUANG,Wen GAO.  Frontiers of Information Technology ＆ Electronic Engineering. 2017(01)
[4]半监督学习方法[J]. 刘建伟,刘媛,罗雄麟.  计算机学报. 2015(08)

博士论文
[1]跨媒体数据的语义分类和检索[D]. 魏云超.北京交通大学 2016

硕士论文
[1]基于判别子空间学习的跨媒体检索算法研究[D]. 王粒.山东师范大学 2019
[2]弱监督跨模态哈希检索方法研究[D]. 尚斌.西安电子科技大学 2019



本文编号：3669188