基于深度学习的表情和姿态双模态情感识别

发布时间：2021-06-23 06:38

　　情感交互在人机自然交互的研究中受到了很大的重视,而情感识别是情感交互中尤为重要的关键。情感可以通过很多种方式表达,现阶段的情感识别研究中,主要是人脸表情情感识别、语音情感识别和身体姿态情感识别等单模态情感识别。心理学研究结果表明,当人们对人类的交际行为做出判断时,相比其他任何通道更多地依赖面部和姿态组合成的视觉通道。所以研究基于面部表情和身体姿态的双模态情感识别具有重要的现实意义。本文研究基于深度学习的面部表情和身体姿态两种模态在情感识别方面的应用,主要工作内容如下:（1）因为传统方法存在复杂的人工设计特征以及提取特征的过程,所以采取了基于深度学习的面部表情情感识别方法。首先,对CaffeNet进行改进,提出了一种基于改进的CaffeNet的面部表情情感识别方法;然后,考虑到数量较小的数据样本也能利用深层卷积神经网络获得相对较好的识别效果,研究了一种基于VGG-16网络微调模型的面部表情识别方法;最后,因为本文研究的数据是视频样本,其面部表情的变化具有时间相关性,所以研究了一种基于卷积神经网络和长短期记忆网络的面部表情情感识别方法。（2）为了更准确地识别身体姿态单模态情感,本文研究了一... 

【文章来源】：南京邮电大学江苏省

【文章页数】：59 页

【学位级别】：硕士

【部分图文】：

激活函数的样例图

图 2.2 反向传播的网络拓扑结构用神经网络时，大多是使用 BP 算法进行训练，包括深度经网络（CNN）。BP 算法的一般思想：由信号的正向传差回传）构成了整个学习过程。由 BP 算法的一般思想，播 FP（求损失）：在此过程中，根据输入的数据样本，项值 b，可以计算出最终的输出值和实际值与输出值间的围，就进行反向传播的过程，否则权重 W 和偏置 b 停止播 BP（回传误差）：输出误差以某一种方式通过隐层一单元都接收到了此误差，因此也获得到了各层单元的误各单元权值。绍一下卷积神经网络的反向传播算法，其基本过程为：播

南京邮电大学专业学位硕士研究生学位论文 第二章 深度学习的背景知识3D 池化也采用了类似的操作。具有更深体系结构的 3 3卷积内核的小感受野在二维卷积神经网络中表现很好，我们在此保持空间域大小为 3 3不变，只调整 3D 卷积核的时间维度的长度。3D 卷积核仅仅能从立方体中提取出一种类型的特征，在整个立方体中卷积核的权值都是相同的，换句话说就是权值共享，即卷积核是相同的。我们为了提取多种特征，可以采用多种卷积核。3D Convolution 最早应该是在一篇论文[37]中被提出并用于行为识别的，其中，3DCNN 网络结构如下图 2.5 所示。

【参考文献】：
期刊论文
[1]情感识别综述[J]. 潘莹.  电脑知识与技术. 2018(08)
[2]表情和姿态的双模态情感识别[J]. 闫静杰,郑文明,辛明海,邱伟.  中国图象图形学报. 2013(09)



本文编号：3244444