基于长短时记忆网络的多模态情感识别和空间标注

发布时间：2023-02-18 22:43

　　情感计算中音/视频的情感识别对人机交互等领域的深层次认知具有重要应用价值,在现代远程教育中可作为教学过程性实时评估的重要技术之一.为克服单一模态模型识别精度依赖于情感类型这一问题,本文提出一种基于长短时记忆(LSTM)网络的多模态情感识别模型,采用双路LSTM分别模拟人类听觉和视觉处理通路处理语音和面部表情的情感信息,在eNTERFACE’05双模态情感数据集上进行训练和测试,并模拟人脑边缘系统情感区进行决策层加权特征融合,传统情绪六分类标准的准确率可达74.7%.同时,考虑到传统离散情绪六分类法无法进行程度度量,且存在外在表现相似和多情感同时并存的问题,本文提出一种新的多模态情感识别模型的空间标注法,采用模型层特征融合方法将情感分类特征映射到激活度-效价空间(Arousal-Valence Space),从而更好刻画情感的程度,实验结果显示准确率在空间两个维度上分别达到84.1%和86.6%.相比于已有的大多数相关研究,本文提出的模型运算量小,识别精度高,可进行实时在线情感识别.

【文章页数】：10 页

【文章目录】：
1 模型设计
    1.1 整体架构
    1.2 语音情感特征提取模块
    1.3 面部表情特征提取模块
    1.4 特征融合算法
2 实验设置
3 结果与讨论
    3.1 单模态情感识别结果
    3.2 多模态情感识别结果
    3.3 情感空间标注结果
4 结语



本文编号：3745690