基于多种深度学习构件的同源及异源多模态数据利用

发布时间：2021-02-26 15:18

　　随着计算机技术的日益进步,数据的收集来源和应用方式变得越来越多样化、复杂化。这些针对同一对象的从不同来源获取或者从不同角度刻画的数据,我们称之为多模态数据。从不同来源获取的数据,我们称之为异源多模态数据;反之来源单一,但是可以从不同角度刻画的数据,我们称之为同源多模态数据。如何从这些多模态数据中提取特征并加以利用的研究称为多模态学习。近几年,得益于计算机性能的大幅度提升,深度学习技术日益成熟,因而许多研究人员为了能够更有效地从这些多模态数据中提取有价值的特征,结合不同的数据特点以及应用场景特点,提出许多基于不同的深度学习构件的多模态数据应用算法。然而,现有的多模态数据研究中仍然存在着一些问题没有被很好地解决,例如数据的模态不一致、表示复杂以及信息匮乏等。于是,本文分别针对异源及同源多模态数据在多个应用场景中存在的问题,从以下三个方面进行研究,并且提出了相应的解决方法:1.异源多模态数据模态不一致问题研究。大多数现有的异源多模态方法都会利用模态一致性来降低学习问题的复杂性。模态一致性是指同一对象的不同模态示例之间内容一致。为了保持这种模态间的一致性,我们需要保证获取的数据模态完整,否则模... 

【文章来源】：南京大学江苏省 211工程院校 985工程院校 教育部直属院校

【文章页数】：95 页

【学位级别】：硕士

【部分图文】：

图２．１关于多模态数据中模态缺失问题示例

即样本内容与数据集不一致。??影响多模态算法鲁棒性的重要障碍。在多模态不一致异常数据中，主要有两种??类型，如图２．２所示。其中，前两行的样例代表正常数据，而第三行的是类异??常数据（因为图片和文本描述的内容不一致），第四行则是属性异常数据（因为这??是一个不相关的广告数据，与数据集整体内容不一致）。为了解决这类问题，我??们引入一种深度能量模型构件ＤＳＥＢＭｓ?［１３８］对ＤＣＣＡＥ基本框架进行改进。具??体来说，能量函数是某个确定的深度祌经网络的输出，如ＭＬＰ、ＣＮＮ、ＲＮＮ??等。一个能量函数可以被表示为一个Ｌ层的深度ＥＢＭ结构：??１?Ｎｌ??＝?７：Ｗｘｉｋ?￣?＾＇＼＼ｉ?￣?＾?Ｖ／??２?Ｕ?（２．２）??ｓ．ｔ．?ｈｉ?＝?ｇ｛ｆ?（ｈｉ＾＼）），?ｌｅ｛ｌ，－－－，Ｌ］??其中，ｙｖ，是第／层的维度，而ｇＵ）表示函数細（ｉ?＋?ｐ）。此外，／（ｕ则表??示某个具体的网络结构。例如，对于全连接网络，／（／／Ｍ）?＝?ｅ??ｅ?Ｒ＇?／＾）表示前一层的输出。除此之外

中左侧所示），而每个查询展现了前５个检索结果（图中右侧所示）。特别地，正确的结果被??砧成蓝色，而其他的被标成红色。??率，从０％到９０％并以２０％为间隔。图２．４记录了?４个公开数据集上的结果。??从这些图中，我们可以发现ＤＲＵＭＮ取得了最好的性能结果。同时，我们也发??现当缺失率变高时，ＵＲＵＭＮ的性能下降比对比方法慢。??异常检测??除学４识别特征表示外，ＤＲＵＭＮ还考虑了不一致异常的多模态数据问??题。图２．５展现了一些ＷＫＧ?Ｇａｍｅ－Ｈｕｂ数据集上的异常检测结果样例。结果表??明，ｈ?ＤＫＵＭＮ－Ｔｈｒｅｓ方让相比，ＤＲＵＭＮ方法既能检测到类异常，又能检测??到属性异常。具体来说


本文编号：3052774