基于时空神经网络的动态情感识别研究

发布时间：2020-10-14 14:26

　　 情感识别在人机交互中具有巨大应用价值,近年来受到越来越多的关注。在情感识别的研究过程中,研究者首先采集如面部表情序列、脑电(Electroencephalogram,EEG)以及语音等多种反映人类情感的信号,然后利用计算机进行自动识别。其中,EEG和面部表情序列是情感识别中研究较为广泛的两种信号。作为时变情感信号,EEG和面部表情序列具有相似的时空结构:它们不仅在某个时刻呈现特定的空间分布特性,也在时域上包含上下文信息。为实现准确可靠的情感识别,情感信号中所包含的较为关键的空域和时域相关性应该被很好地建模。出于上述动机,本文设计了多种具有时空结构的深度神经网络以实现基于EEG和面部表情的动态情感识别。此外,由于情感信号在空域上的相关性比时域上更加复杂,本文首先对如何建模空域相关性展开研究,并将它作为设计时空神经网络的基础。具体而言,本文主要的创新性成果包括以下几个方面:(1)提出一种受情感认知机制启发的双线性卷积网络(Bilinear Convolutional Network,BCN),对静态表情图像进行高层特征提取以及情感识别。为模拟情感认知的早期感知过程,本文首先对面部关键点的周围区域提取尺度不变特征变换(Scale Invariant Feature Transform,SIFT)描述子,并构建具有特定结构的特征矩阵。而为了模拟情感认知的深层感知阶段,本文构建BCN以学习具有较高判别性的情感特征。其中,BCN包含双线性映射层、一维卷积层和非线性激活层等多种网络层。在情感识别过程中,BCN能够很好地表征SIFT特征矩阵与其对应的高层语义信息之间的变换关系。同时,BCN对于不同视角下的面部表情也可以进行有效地分类。(2)提出一种新颖的时空递归神经网络(Spatial-Temporal Recurrent Neural Network,STRNN)用于学习情感信号中的空域和时域相关性,并将EEG和面部表情序列这两种信号的时空特征学习过程集成到统一的深度模型中。STRNN首先采用一个多方向的空域递归神经网络层(Spatial Recurrent Neural Network,SRNN)来捕获情感中的空域协同变化信息,特别是空域上各区域间的长距离上下文信息。在此过程中,SRNN沿着不同方向对情感信号中每个时间切片上的空间区域进行遍历。然后,双向时域递归神经网络(Temproal Recurrent Neural Network,TRNN)在SRNN输出特征的基础上进一步学习时域上的相关性。为选取对情感识别贡献较大的区域,该网络还对SRNN和TRNN的隐状态进行稀疏投影。经过上述过程,STRNN可以有效地学习情感信号中时域和空域上的相关信息,并实现情感识别。(3)提出基于一阶和高阶统计特征的深度神经网络框架,对EEG信号进行情感识别。其中,高阶统计特征为具有时空结构的对称正定(Symmetric Positive Definite,SPD)矩阵。理论上,SPD矩阵分布在黎曼流形上。为保持输入矩阵的黎曼流形结构,本文提出一个端到端的深度流形到流形变换网络(Deep Manifoldto-manifold Transforming Network,DMT-Net)将SPD矩阵从原始黎曼流形变换到另一个判别性更高的黎曼流形上。在此过程中,DMT-Net提出三个新颖的网络层以学习具有较高判别性的SPD特征,分别为:(a)局部SPD卷积层,(b)非线性SPD激活层,和(c)黎曼流形上的递归层。它们均可以保持输入特征的SPD特性并且在计算过程中无需使用运算复杂度较高的奇异值分解(Singular Value Decomposition,SVD)。而相比之下,现存方法几乎均基于SVD。此外,DMT-Net还包含一个对角化层用于对SPD特征进行高效的度量计算。最后,DMT-Net进一步和基于一阶统计特征的网络层进行融合以提高识别性能。(4)提出一种新的张量图卷积神经网络(Tensor Graph Convolutional Neural Network,TGCNN),对EEG信号进行情感识别。EEG特征首先被建模成包含多个节点的动态图序列。在此过程中,EEG的每一个时间切片均被视作动态图序列的一个子图,并且子图中的每个节点都与一个电极相对应。为全局地捕获各子图之间以及同一子图上的各节点之间的相关信息,TGCNN提出图保持层来递归地记忆各个子图上对于情感识别较为显著的节点。其中,图保持层包含两个关键的步骤,分别为跨图卷积和图池化。特别地,跨图卷积中提出一种新颖的参数化克罗内克和(Kronecker Sum)来表征两个子图中每对节点之间的邻接关系。通过利用克罗内克和的运算性质,原本针对高维矩阵的谱滤波运算可以分解为若干个低维矩阵之间的乘积,从而大幅减少内存和计算负担。经过对动态图的递归学习,图保持层可以捕获动态图序列的空域结构以及时域变化特性,并实现对EEG信号的有效情感识别。
【学位单位】：东南大学
【学位级别】：博士
【学位年份】：2018
【中图分类】：TP183;TP391.41
【部分图文】：

第 2 章 基于双线性卷积网络的人脸表情识别如图 2-1 所示。总体上，该网络主要由六个网络层组成，分别为两个投影层、一个一维卷积层、两个全连接层和一个 Softmax 层。由图 2-1 可知，BCN 与传统的CNN 或 DBN 网络存在较大的区别，主要表现在：（1）其网络输入为 SIFT 特征矩阵而非原始的图片；（2）设计了新的投影层来寻找关键点之间的最优组合以及最优特征空间；（3）仅在特征方向上使用一维滤波器进行滤波来学习具有高判别性的特征。

图 2-2 Multi-PIE 和 BU3D-FE 数据库的样本示例PIE 上的实验结果IE 上的实验遵循先前文献[13]中的协议来对模型进行训练取 Multi-PIE 数据库中由 100 个被试在 7 个不同的视角o75 和o90 ）和一种特定的光照下所拍摄的共 4200 张表情图图片，本实验采用交叉验证的方式对 BCN 的性能进行评试集时，100 位被试中的 80 位会被选取出来并将其对应训练，而剩余的 20 位被试的 840 张表情图片用于测试。练的样本数量相对较少，可能会影响深度网络的性能。因的数量以及数据的多样性，本实验还对训练图片进行了翻张给定的表情图像，首先对它分别以顺时针和逆时针方

东南大学博士学位论文特别地，2D JFDNN 在o30 姿态下得到了最高的识别率而 BCN 则在o0 姿态下的识别率达到最优。另外，由两种方法之间的结果对比可知：除了o90 以外，BCN在其余的各个视角下都获得了优于 2D JFDNN 的性能，这表明 BCN 对于姿态变化的鲁棒性也优于 2D JFDNN。表 2.2 Multi-PIE 数据库中各个面部姿态下的表情识别准确率对比方法识别率（%）0o15o30o45o60o75o90o平均2D JFDNN[76]85.1 83.3 85.8 84.2 80.8 80.8 80.0 82.9BCN（13440 训练图片）88.2 88.0 87.3 85.3 83.8 83.3 78.8 85.2
【相似文献】

相关期刊论文 前10条

1 胡冬妮;王武军;王青;;基于知网数据的情感识别国内研究情况综述[J];网络新媒体技术;2018年06期

2 韩志艳;王健;;基于模糊核聚类的多模式情感识别算法研究[J];电子设计工程;2016年20期

3 陈晓鸥;杨德顺;;音乐情感识别研究进展[J];复旦学报(自然科学版);2017年02期

4 潘莹;;情感识别综述[J];电脑知识与技术;2018年08期

5 金磊;高梓瀚;冯琛;;情感识别算法应用现状及发展趋势研究[J];电子世界;2019年15期

6 李超;赵文萍;赵子平;;多视角判别分析的情感识别[J];信号处理;2018年08期

7 张力行;叶宁;黄海平;王汝传;;基于皮肤电信号与文本信息的双模态情感识别系统[J];计算机系统应用;2018年11期

8 吴琨;王汉友;;情感化设计与品牌情感识别[J];时代人物;2008年11期

9 余梓彤;李晓白;赵国英;;情感识别与教育[J];人工智能;2019年03期

10 刘晓东;王淼;李松阳;;一种基于行为上下文的视频情感识别方法[J];微电子学与计算机;2019年05期

相关博士学位论文 前10条

1 张桐;基于时空神经网络的动态情感识别研究[D];东南大学;2018年

2 许峰;基于深度学习的网络舆情识别研究[D];北京邮电大学;2019年

3 魏薇;基于加权融合策略的情感识别建模方法研究[D];北京邮电大学;2019年

4 李超;多模态生理信号情感识别研究[D];天津大学;2017年

5 林奕琳;基于语音信号的情感识别研究[D];华南理工大学;2006年

6 程静;基本情感生理信号的非线性特征提取研究[D];西南大学;2015年

7 刘英杰;网络舆情的信息情感维度空间构建和信息情感元识别研究[D];吉林大学;2017年

8 朱亚忱;基于特权信息的情感识别[D];中国科学技术大学;2015年

9 王金伟;基于表情时空特征的认知情感状态识别研究[D];天津大学;2014年

10 张石清;基于语音和人脸的情感识别研究[D];电子科技大学;2012年

相关硕士学位论文 前10条

1 吴莹;多生理信号的情感识别研究[D];哈尔滨工业大学;2019年

2 张京儒;基于深度学习和脑机接口的服务机器人情感识别方法研究[D];华南理工大学;2019年

3 郭迪;基于深度学习的表情和姿态双模态情感识别[D];南京邮电大学;2019年

4 谢桥;基于多尺度分析和集成树模型的脑电情感识别方法研究及系统设计[D];中国地质大学;2019年

5 张力行;基于皮肤电信号与文本信息的双模态情感识别方法研究[D];南京邮电大学;2019年

6 张戈;多模态连续维度情感识别研究[D];西安电子科技大学;2019年

7 赵佳文;基于生理信号的情感识别融合技术研究与实现[D];南京邮电大学;2019年

8 杨子文;基于两层迁移卷积神经网络的抽象图像情感识别[D];南京邮电大学;2019年

9 郭金良;基于稀疏组lasso-granger因果关系特征的EEG情感识别[D];合肥工业大学;2019年

10 鞠思航;基于脑电和生理信号的多模态情感分类方法研究[D];合肥工业大学;2019年

本文编号：2840786