适应开放环境的多模态学习技术

发布时间：2021-09-03 03:04

　　多模态学习是数据挖掘、机器学习等相关领域的重要研究内容。相对于单模态学习,多模态学习旨在建立能处理和关联多种模态信息的模型,有效的多模态学习可获得更丰富的语义表示,进而提升单模态和多模态集成的性能。传统的多模态学习方法大多依赖于单模态自身信息相对充分、模态间信息一致的假设。但在实际应用中,多模态特征通常无法满足上述假设,尤其是在开放环境下受到特征噪声、缺失等因素的影响,使得多模态的数据收集、数据表示以及模型输出更为复杂,主要表现为:1)不同模态的收集代价不一致,存在模态代价差异大;2)不同模态的数据表示不一致,存在缺失模态和对应关系不明确的模态;3)不同模态的信息量不一致,存在模态有强弱。概括地说,存在“模态代价不一致”、“模态表示不一致”以及“模态强弱不一致”三个挑战性问题。论文针对这三个挑战性问题展开研究,提出了一系列完备多模态学习方法,并在公开及真实数据集上进行了验证。主要的研究工作如下:1.提出了一种考虑多模态代价不一致的序列化模态提取方法。开放环境中针对不均衡多模态数据,不同模态的收集代价也不尽相同。传统的多模态方法在训练和测试阶段均需要样本的全量模态信息,忽略了不同模态的收... 

【文章来源】：南京大学江苏省 211工程院校 985工程院校 教育部直属院校

【文章页数】：120 页

【学位级别】：博士

【部分图文】：

图１－２：?ＭＭＤＬ框架，其利用自动编码网络网络学习不同模态的共享隐含表示（图片源??］＇■?［８２］）〇??ＭＭＤＬ的核心思想在于利用深度网络学习不同模态间的共享隐含表示

３２］提出利用强模态作为软监督信息辅助弱模态，??［４９，?１０８，?１５０］考虑加权等操作排除不一致样本的干扰。??适应开放环境的多模态学习技术???????模态代价不一致?模态表示不一致?模态强弱不一致??ｒ?￣?＂?１?＂??！?｜最小化代价的序｜?！?ｆｉｓｌｆｌｌｌ！?＇Ｉ强模态的模１１基于不充分度??ｉ列化模态提＊?，?ｉ?１型复用（第五植的完备多模ｉ??，丨（第二！）?！丨｜＿）和聚类（第二｜?第记四消章ｆ麵丨丨丨丨章）?丨丨态学；六章丨??图１－３：开放环境下多模态学习存在的挑战及相丨、Ｖ：的解决方案。??

１８?第二章样本自适应的动态序列化模态提取??臟??Ｂｌｏｏｄ??Ｘ－Ｒａｙｓ?＇＇＾ｒ?ＣＴ??賀…２＾３－ｓ＞??ＰＥＴ－ＣＴ?Ｂ－Ｓｃａｎ??？？？?ｒ＾）??Ｉ繼－？??图２－１：序列化模态抽取示例。例如针对相同的疾病，所有患者首先接受相同的检查，接着??根据历史的检查结果进行不同的后续检查。??同的后续检测。部分病患经过简单检查即能做出诊断，而部分病患则需要更多??复杂检查才能得到最终的诊断。如果利用级联方法，所有病患需要进行相同顺??序的检查，这样做明显违背实际情况。因此各样本应拥有自适应的模态提取序??列，才能在保证精度的前提下提高预测效率。具体地，更普适的方法是利用历??史模态的特征信息量及预测结果决定下一模态的抽取，这才可为每个样本自适??应的提取最有效的ｔ吴态序列。??针对上述问题，基于自适应模态提取的思想出发，即针对简单样本利用信??息含量较少但开销低廉的模态，而复杂样本可以增加信息含量多但开销昂贵的??模态。文献［５１，?５９］构造了分类树模型将样本平均测试时间作为约束项目项，??最大化样本分类的准确率。然而这一方法需要解决非凸问题，且难以处理维度??不一致的多模态数据。为此文献［１１９，?１２０］提出了自适应的模态抽取方法，但??该类方法需要预先排列所有可能的模态序列，会导致排列组合爆炸问题。针对??上述问题，本章提出了一种新颖的样本自适应动态序列化模态提取端到端神经??网络模型ＤＭＰ?（Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ?Ｍｏｄａｌ?Ｐｕｒｓｕｉｔ）。具体地，该方法基于长短记忆??神经网络模型，利用历史模态的信息同时进行分类和下一模态选择的预测，同??时将预测损失引入模态选择


本文编号：3380274