基于深度学习的跨模态检索

发布时间：2018-03-03 17:31

  本文选题：典型相关性分析　切入点：语义模态　出处：《北京邮电大学》2017年博士论文　论文类型：学位论文

【摘要】：在过去的几年中,互联网上的多媒体数据呈现爆炸式地增长。跨模态检索(Cross-modal retrieval)由于融合了图像、文本等多个模态而成为多媒体信息检索中的一个研究热点。但其仍存在多模态表示、跨模态关联机制等多个挑战性的问题,因此,跨模态检索具有重要的理论意义和应用价值。针对当前跨模态检索的难点,即如何有效构建图像和对应文本的相关性,本文从典型相关性分析(canonical correlation analysis,CCA)出发,利用深度学习对跨模态检索进行了深入研究,文本的主要工作如下:1.将语义一致性引入图像和文本的相关性学习中。为了增强隐空间中的语义一致性,将传统的2模态CCA扩展到3模态CCA,同时最大化图像、文本和语义的相关性。提出了 4种类型的语义模态:有监督的类别标签,无监督的超图语义、局部近邻和局部保持。针对超图语义,提出了一种快速生成超边的方法。实验结果证明了这4种语义模态对于提高跨模态检索性能的有效性。2.提出了两种防止过拟合的技术:(1)自编码器。在相关性学习之后加入一个重构层,以重构模态内的输入。通过反向传播机制回传到相关层的重构损失可以看作是一种正则项,进而克服过拟合。(2)递进框架。在传统的神经网络框架中加入一个线性的损失层,联合优化线性投影和非线性损失来学习更好的特征表示。为了验证递进框架的一般性,在3种不同的应用中嵌入递进框架。实验结果证明递进框架可以为更多神经网络优化的问题提供更好更快的解决方案。3.提出了两种相似度的度量优化方式:(1)基于检索的相似度。传统的基于CCA的算法在获得隐空间后直接采用人工设计的度量方式计算模态间的相似度。受PageRank算法的启发,提出了一种间接度量隐空间中图像和文本对相似度的方法。(2)度量学习。我们试图将行人再辨识中的度量学习方法迁移到跨模态检索中。本文利用大规模相似度学习度量相似度,并结合跨模态检索语义一致性的特点,提出了一种相似对的构建方法。实验结果表明两种度量方法都是有效的,在提高跨模态检索性能方面是互补的。4.综合语义一致性、防止过拟合技术以及度量优化提出了两种和当前最好算法相比具有竞争力的跨模态检索模型。对于无监督跨模态检索,提出了一种改进的CCA。传统的CCA不能建模隐空间中的语义一致性,难以学习模态间的非线性相关性。由于传统度量学习不直接优化隐空间中的度量,所以在相似度比较方面存在问题。为了解决这些问题,改进的CCA方法引入局部近邻和局部保持来改善隐空间的语义一致性,将CCA从2视角扩展到4视角。为了学习非线性相关性,将4视角CCA嵌入递进框架。用大规模相似度学习方法改善CCA在度量方面存在的不足。对于有监督的跨模态检索,提出了两阶段深度学习算法。为了最大化有监督语义信息的作用,在两个阶段都采用有监督的学习。为了克服过拟合,在第一阶段的训练加入重构损失来约束相关性学习。在第二个阶段,提出了一个利用对比损失和中心损失联合优化的全卷积网络。最后应用到微软必应的图像检索竞赛中,验证了算法的有效性。
[Abstract]:......
【学位授予单位】：北京邮电大学
【学位级别】：博士
【学位授予年份】：2017
【分类号】：TP391.41

【相似文献】

相关期刊论文 前10条

1 李红美;;论网络教育环境下学习者学习动机的激发[J];继续教育;2006年11期

2 李秀英;;网络环境下学生学习的特点[J];教师;2009年04期

3 夏定海,黄智英;教会学习 学会学习 终身学习[J];发明与革新;2000年06期

4 黄启兵;汪芳;;论网络时代学习与创新的统一[J];教学研究;2002年03期

5 陈相安;把档案部门建成学习型组织[J];中国档案;2003年09期

6 顾新,蔡兵,李久平;学习与学习型社会[J];软科学;2004年02期

7 郑军;试论编辑的学习特征[J];中国编辑;2005年06期

8 邱晓荣,孔一童;试论网络环境中的合作学习[J];当代教育论坛;2005年02期

9 冷平,王仁蓉,刁永锋;网络学习的成功要素探析[J];教育信息化;2005年03期

10 张建光;朱秀娥;张笑双;;网络学习社区的特征和构建[J];中国教育技术装备;2006年03期

相关会议论文 前10条

1 韩文;;让合作学习在逆境中重生[A];中华教育理论与实践科研论文成果选编（第2卷）[C];2010年

2 吕启春;;浅谈小学数学中的小组合作学习[A];2014年1月现代教育教学探索学术交流会论文集[C];2014年

3 杜俊娟;;用学习动机培养策略课题的学习对体育教师进行研究性学习培养的实验研究[A];第七届全国体育科学大会论文摘要汇编（一）[C];2004年

4 瞿春波;;浅议合作学习之误区[A];校园文学编辑部写作教学年会论文集[C];2007年

5 时龙;;把握分析学情是改进教学和促进学习的基础[A];2012·学术前沿论丛——科学发展：深化改革与改善民生（下）[C];2012年

6 韦彩红;;如何组织学生共享学习成果[A];中华教育理论与实践科研论文成果选编（第2卷）[C];2010年

7 格保耿;;培养学生学习物理的兴趣[A];2014年5月现代教育教学探索学术交流会论文集[C];2014年

8 钮荣荣;;关于小学数学教学中小组合作学习的几点思考[A];2014年6月现代教育教学探索学术交流会论文集[C];2014年

9 陈妙;;让数学课堂效率得到真正的提高——浅谈新课改下学生学习兴趣的培养[A];中华教育理论与实践科研论文成果选编（第3卷）[C];2010年

10 黄春妙;;浅谈语文课堂合作学习的有效把握[A];中华教育理论与实践科研论文成果选编（第3卷）[C];2010年

相关重要报纸文章 前10条

1 农行浙江东阳支行 吴新国 周龙飞;银行如何创建学习型组织[N];上海金融报;2003年

2 西北师范大学 李瑾瑜;校长：如何引领和促进教师学习[N];中国教育报;2008年

3 永寿县店头中学 刘俊锋;大力提倡合作学习 全面促进有效教学[N];咸阳日报;2009年

4 本报评论员;要在真学习上下功夫[N];酒泉日报;2009年

5 本报记者 李天然;学习应该是一种终身行为[N];大连日报;2010年

6 刘继芳;浅议建设学习型党组织中的“学习”内涵[N];伊犁日报(汉);2010年

7 哈尔滨市第五医院 蒙硕;浅谈医院创建学习型党组织[N];黑龙江日报;2010年

8 翟爱霞;浅谈如何深入推进学习型党组织建设[N];太行日报;2011年

9 李振 上海交通大学国际与公共事务学院;制度变迁中的制度学习[N];中国社会科学报;2012年

10 重庆市教育评估院院长、中国高等教育学会学习科学研究分会常务副会长 龚春燕;实施新学习，建设学习型社会[N];中国教育报;2013年

相关博士学位论文 前10条

1 邵杰;基于深度学习的跨模态检索[D];北京邮电大学;2017年

2 徐峰;基于社会网络的大学生学习网络结构研究[D];江西财经大学;2014年

3 付亦宁;本科生深层学习过程及其教学策略研究[D];苏州大学;2014年

4 冯子勇;基于深度学习的图像特征学习和分类方法的研究及应用[D];华南理工大学;2016年

5 王星;关系分类模型的学习界限与应用[D];哈尔滨工业大学;2015年

6 潘剑寒;基于多潜在空间的迁移学习算法研究[D];合肥工业大学;2016年

7 杨春;反馈类型对大学生学习成绩的影响：自我调节学习的中介作用[D];东北师范大学;2016年

8 王浩宇;资源整合、创业学习与新创企业创新的关系研究[D];吉林大学;2017年

9 田青;有序学习及在图像分析中的应用研究[D];南京航空航天大学;2016年

10 邹朋成;有监督的相似性度量学习研究与应用[D];南京航空航天大学;2016年

相关硕士学位论文 前10条

1 王以宣;感知教师支持、基本心理需要满足与初中学生英语学习倦怠的关系[D];上海师范大学;2015年

2 李荣敬;不同情绪状态对学习判断的影响[D];河北师范大学;2015年

3 李兰翠;M00C学习平台的应用研究[D];上海师范大学;2015年

4 孙航;农民工随迁子女学习生态研究[D];上海师范大学;2015年

5 左扬扬;碎片化时代下企业微课程设计与应用[D];上海师范大学;2015年

6 戚政霞;基于翻转课堂的小学语文教学设计研究[D];上海师范大学;2015年

7 苏治芳;小学中高年级“微课题式”语文学习的实践研究[D];上海师范大学;2015年

8 张华;提高中职生语文课堂学习动力的策略研究[D];上海师范大学;2015年

9 强敏;“学困生”的现状调查与教育转化途径研究[D];宁夏师范学院;2015年

10 谢平;对初中学困生学习素质提高的情感教育研究[D];河北大学;2014年

，

本文编号：1561999