基于辅助模态监督训练的情绪识别神经网络

发布时间：2021-02-22 22:17

　　为了解决多模态数据中数据样本不平衡的问题,利用资源丰富的文本模态知识对资源贫乏的声学模态建模,构建一种利用辅助模态间相似度监督训练的情绪识别神经网络。首先,使用以双向门控单元为核心的神经网络结构,分别学习文本与音频模态的初始特征向量;其次,使用SoftMax函数进行情绪识别预测,同时使用一个全连接层生成2个模态对应的目标特征向量;最后,利用该目标特征向量计算彼此之间的相似度辅助监督训练,提升情绪识别的性能。结果表明,该神经网络可以在IEMOCAP数据集上进行情绪4分类,实现了82.6%的加权准确率和81.3%的不加权准确率。研究结果为人工智能多模态领域的情绪识别以及辅助建模提供了参考依据。 

【文章来源】：河北科技大学学报. 2020,41(05)

【文章页数】：9 页

【部分图文】：

模型的总体架构

A j L =GRU(A j l ,( h k-1 → , h k+1 ← )), A j G =ReLU(W d ?A j g +b d )。将GRU的隐藏状态数设置为与线性转换中的隐藏层神经元数相同,其中,ALj和AGj各自具有相同尺寸d。全局特征缺少时间信息和2个时间片段之间的依赖信息,但在用于检测高唤醒情绪时的效果较好,例如愤怒和厌恶[4]。融合局部特征之后可以学习得出更丰富和潜在情绪的特征向量。因此,本文使用模态内的注意力机制,在局部高阶特征中学习可以引起强烈唤醒情绪的特征表示向量。计算公式如下:

2)对情绪识别任务和模态相似性任务的目标函数设置权重,分析权重对最终任务性能的影响,并通过权重参数λ进行调节。图4 本文模型对不同任务权重设置的性能改变


本文编号：3046625