适于模态不平衡环境的多模态学习研究

发布时间：2021-03-24 06:50

　　随着数据收集能力的提高,我们可以获得越来越多的多模态数据。在实际应用场景中,往往存在着模态不平衡现象:不同模态对于任务的重要性不同,与任务强相关的模态称作强模态;与之对应的,与任务弱相关的模态称其为弱模态。在模态不平衡环境中,会出现不同模态的预测精度不同、不同模态的抽取代价不同等现象。本文基于模态不平衡环境下的多模态学习问题做出以下工作:第一,本文提出一种带有敲除技术的固有模型复用框架FMR（Fixed Model Reuse）。固定模态抽取代价,统一使用弱模态进行预测,FMR通过利用在强模态上提取好的特征（固定特征）以及训练好的模型（固定模型）指导弱模态模型的构建,从而提高弱模态所对应的模型的判别性。训练阶段,在固定模型及固定特征的辅助下,弱模态利用深度网络同时学习类别标记和固定特征信息,来增强模型的判别能力,通过敲除技术逐渐削弱固定模态和网络之间的关联,从而在训练的最后阶段,得到和测试阶段一致的网络。测试阶段,仅输入弱模态即能进行预测。固有模型的复用能够有效减少训练阶段所需带标记样本数,减少训练时间开销,同时减少对专家知识的需求。第二,本文提出了一个端到端的样本自适应序列化模态选择... 

【文章来源】：南京大学江苏省 211工程院校 985工程院校 教育部直属院校

【文章页数】：75 页

【学位级别】：硕士

【部分图文】：

图２．２米用Ｋｎｏｃｋｄｏｗｎ的并彳丁化结构??

图２．３权垂扩散（ＷＰ）??

?南京大学研究生毕业论文??上包含５１个类的混淆矩阵。??ｖ??ＴＴＴＴＴＴＴＴＴＴＴＴＴｉＴｌＴＴｔＴｉＴＴＴＴ??Ｐｌ－ｌｒＰｉｌｉｌｉｌｐｔ－ｒ！！??工?一?；?４?１?一??（ａ）?ＵＣＦ５０??ｆｌｉ??ｉＷＷＷｗｍＷｆＷｍ??－§?ｉ?ｉ?■＂?＾?ｉ?■＂??＾?Ｔ３?－Ｃ??（ｂ）?ＨＭＤＢ５１??图２．６动作识别数据集的混淆矩阵??２２??


本文编号：3097275