多模态情绪识别研究综述

发布时间：2022-02-10 11:43

　　本文针对多模态情绪识别这一新兴领域进行综述。首先从情绪描述模型及情绪诱发方式两个方面对情绪识别的研究基础进行了综述。接着针对多模态情绪识别中的信息融合这一重难点问题,从数据级融合、特征级融合、决策级融合、模型级融合4种融合层次下的主流高效信息融合策略进行了介绍。然后从多种行为表现模态混合、多神经生理模态混合、神经生理与行为表现模态混合这3个角度分别列举具有代表性的多模态混合实例,全面合理地论证了多模态相较于单模态更具情绪区分能力和情绪表征能力,同时对多模态情绪识别方法转为工程技术应用提出了一些思考。最后立足于情绪识别研究现状的分析和把握,对改善和提升情绪识别模型性能的方式和策略进行了深入的探讨与展望。 

【文章来源】：智能系统学报. 2020,15(04)北大核心CSCD

【文章页数】：13 页

【参考文献】：
期刊论文
[1]语音情感识别研究综述[J]. 高庆吉,赵志华,徐达,邢志伟.  智能系统学报. 2020(01)
[2]多模态情感识别研究进展[J]. 何俊,刘跃,何忠文.  计算机应用研究. 2018(11)
[3]结合人脸图像和脑电的情绪识别技术[J]. 黄泳锐,杨健豪,廖鹏凯,潘家辉.  计算机系统应用. 2018(02)
[4]基于参数估计的多传感器数据融合[J]. 孙皓莹,蒋静坪.  传感器技术. 1995(06)

博士论文
[1]多模态数据融合算法研究[D]. 赵亮.大连理工大学 2018
[2]基本情感生理信号的非线性特征提取研究[D]. 程静.西南大学 2015
[3]基于生理信号的情感识别方法研究[D]. 温万惠.西南大学 2010

硕士论文
[1]基于脑电信号和眼动信号融合的多模态情绪识别研究[D]. 陆怡菲.上海交通大学 2017
[2]数据级与特征级上的数据融合方法研究[D]. 张保梅.兰州理工大学 2005



本文编号：3618831