面向模态不均衡数据的多模态学习技术研究

发布时间：2017-03-20 01:01

  本文关键词：面向模态不均衡数据的多模态学习技术研究，，由笔耕文化传播整理发布。

【摘要】：真实应用中的复杂对象语义丰富、表示复杂,如：包含文字、语音和图像的多媒体数据以及用于身份识别的面部和指纹特征等,这些从不同角度刻画或描述同一事物的数据被业界称为多模态数据或多组特征,如何将复杂对象表示为多组特征并加以学习成了研究者关注的重要任务,进而产生多模态学习。多数已有的多模态学习方法赋以多组多模态特征以相同的重要性,但在真实应用中不同的模态的重要程度是不同的,例如,在身份识别任务中使用指纹特征比面部特征更能获得更优的识别率。为此,本文对强模态辅助弱模态,并减少强模态收集开销进行了分析和研究,取得了如下创新成果：1.对不同模态的强弱加以划分,并提出了Auxiliary Information Regularized Machine (ARM)方法。该方法对弱模态最具有判别信息子空间加以提取,同时采用正则化技术对弱模态子空间信息加以有效利用,以此提高强模态预测。2.为减少强模态的收集开销,提出了ACQUEST(Active QUErying STrong modalities)框架。该框架通过主动查询挑选样本对应的强模态特征而不是标记信息,通过逆向预测技术缓解了对强模态特征取值查询可能带来的组合爆炸问题,将ACQUEST转为统一的优化模型,从而降低了整体的特征抽取开销。3.为了更有效使用强模态的领域知识辅助弱模态进行特征学习,提出了结合深度学习技术的多模态学习方法。该方法侧重在训练阶段利用强模态特征辅助弱模态学习更鲁棒的深度网络。
【关键词】：多模态学习 半监督学习 特征学习 主动学习 深度学习
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP181
【目录】：

• 摘要4-6
• Abstract6-9
• 第一章 绪论9-14
• 1.1 研究背景及意义9-10
• 1.2 研究现状10-11
• 1.3 待研究的问题11-12
• 1.4 本文的工作12-14
• 第二章 辅助信息正则化学习14-28
• 2.1 引言14-15
• 2.2 相关工作15-16
• 2.3 辅助信息正则化学习16-21
• 2.4 实验21-27
• 2.5 结论27-28
• 第三章 主动强模态特征查询学习28-43
• 3.1 引言28-29
• 3.2 相关工作29-30
• 3.3 主动强模态特征查询学习30-36
• 3.4 实验36-42
• 3.5 结论42-43
• 第四章 强模态深度网络辅助学习43-50
• 4.1 引言43-44
• 4.2 相关工作44-45
• 4.3 强模态深度网络辅助学习45-47
• 4.4 实验47-49
• 4.5 结论49-50
• 第五章 总结50-52
• 参考文献52-60
• 致谢60-61
• 附录61-62

【相似文献】

中国期刊全文数据库 前10条

1 彭建武;于晓燕;齐伟;;图书馆中的多模态应用[J];图书馆界;2011年01期

2 保罗·范登侯汶;杨颖;;多模态论辩话语重构:以美国广播公司一则新闻为例[J];国际新闻界;2013年04期

3 王学东;胡宋敏;谢辉;丁帅;曹高辉;;多模态网络主题资源聚合与实证研究[J];情报科学;2014年07期

4 胡壮麟;;谈多模态小品中的主体模态[J];符号与传媒;2011年01期

5 张薇;徐筱秋;;基于云教育平台的多模态输入优化模型建构[J];校园英语(教研版);2012年05期

6 郭志斌;;网络环境下的新闻听力多模态教学模式[J];新闻爱好者;2010年14期

7 ;《妈祖文化的多模态语篇研究》简介[J];莆田学院学报;2011年01期

8 王瑜;穆志纯;徐正光;;多模态生物特征识别技术进展综述[J];计算机应用与软件;2009年02期

9 胡阿旭;陈贵萍;于洪志;;多模态语音实验室在语言研究中的应用[J];西北民族大学学报(自然科学版);2012年01期

10 黄戎;肖超;;多模态策略在复杂控制过程中的应用(英文)[J];机床与液压;2012年24期

中国重要会议论文全文数据库 前10条

1 王爱东;谷珍;杨燕平;白鹤;;多媒体多模态教学在民办高校大学英语教学中的适用性及效果研究[A];语言与文化研究（第十四辑）[C];2014年

2 张霄军;;多模态语料库:抢救濒危语言的有效途径[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年

3 夏凡;王宏;;多模态情感数据标注方法与实现[A];第一届建立和谐人机环境联合学术会议（HHME2005）论文集[C];2005年

4 赵贤;;多模态基底系统性质研究[A];2010年全国应用逻辑研讨会会议论文集[C];2010年

5 张友安;胡云安;周绍磊;;Hammerstein系统的多模态模型及其两步辨识法[A];1996中国控制与决策学术年会论文集[C];1996年

6 钟若飞;郭华东;王为民;朱博勤;;SZ-4多模态传感器辐射模态数据处理与应用评价研究[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年

7 康志峰;;口译中多模态的AA研究[A];第十四届全国科技翻译研讨会论文汇编[C];2011年

8 黄俊辉;李文政;李学军;;基于多模态医学影像数据的计算机辅助医疗设计与肿瘤精确治疗[A];中国肿瘤内科进展 中国肿瘤医师教育（2014）[C];2014年

9 孟祥亮;史元春;杨欣;;基于分层原语的多模态输入统一访问接口[A];第四届和谐人机环境联合学术会议论文集[C];2008年

10 郭华东;王为民;朱博勤;;多模态传感器辐射模态数据在SZ-4飞船模拟验证研究[A];全国国土资源与环境遥感技术应用交流会论文文集[C];2004年

中国重要报纸全文数据库 前2条

1 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年

2 罗绵卫 王建成;中国航天科工高分专项实现零突破[N];中国航天报;2011年

中国博士学位论文全文数据库 前10条

1 高静;信息物理融合系统中基于多模态数据的事件监测问题研究[D];哈尔滨工业大学;2015年

2 侯涛;多信息融合滤波的多模态智能控制在高速列车速度控制中的研究[D];兰州交通大学;2015年

3 聂为之;多模态媒体数据分析关键技术研究[D];天津大学;2014年

4 张征;英语课堂多模态读写能力实证研究[D];山东大学;2011年

5 李宝磊;多元优化过程记忆算法及动静条件下多模态寻优研究[D];云南大学;2015年

6 潘鸣威;多模态视角下的口语交际能力：重构与探究[D];上海外国语大学;2011年

7 逯波;多模态媒体信息检索技术研究[D];东北大学;2013年

8 谭帅;多模态过程统计建模及在线监测方法研究[D];东北大学;2012年

9 王洋;多模态图像检索技术[D];中国科学技术大学;2013年

10 张志坚;多模态生物特征识别融合算法的研究[D];中国科学技术大学;2008年

中国硕士学位论文全文数据库 前10条

1 刘洁;大学英语课堂中的多模态话语对学生多元识读能力的影响[D];西南大学;2015年

2 邵荣;牛津版高中英语教材的多模态语篇分析[D];西南大学;2015年

3 王玉竹;中美报刊政治漫画的批评性多模态话语分析[D];西南大学;2015年

4 周德英;基于多模态互动意义的公益广告研究[D];华南理工大学;2015年

5 蒋迪;计划生育宣传画的多模态语篇分析[D];天津商业大学;2015年

6 宋康利;概念整合理论视角下平面广告中的多模态隐喻研究[D];湖南工业大学;2015年

7 张君艳;中国文化网主页的多模态话语分析[D];华中师范大学;2015年

8 凌霄;基于多模态话语分析的平面商业广告英汉翻译研究[D];广东外语外贸大学;2015年

9 杨晓倩;多模态语篇分析[D];宁夏大学;2015年

10 葛欣;中职英语物流词汇多模态教学模式探究[D];闽南师范大学;2015年

  本文关键词：面向模态不均衡数据的多模态学习技术研究，由笔耕文化传播整理发布。

本文编号：256853