基于表情和脑电的不同模态情感识别研究
发布时间：2021-01-04 13:22
随着人工智能的高速发展,情感计算作为其分支领域也在不断地被研究者探究。情感计算主要有识别,表达和决策三个研究方向。其中,情感识别的研究更为广泛和深入。情感识别主要是研究如何让机器准确辨识人类的情感,并消除其不确定性和歧义性。人类的情感表达是多元化的,可以通过表情,语音,文本等非生理信号,也可以通过脑电,心电等生理信号。在非生理信号中,表情是最直接的一种表达方式。因此,很多研究者们致力于研究基于面部表情的情感识别,但这些研究大多数是基于静态表情图片。考虑到表情本身就是一个动态的变化过程,所以基于动态表情视频的情感识别会更加符合人类情感本身。在生理信号中,脑电信号与情感的联系较为紧密。由于脑电信号本身具有时空性,因此可以从脑电信号的特性出发进行研究,从而提高其识别率。但不管是基于表情还是基于脑电的情感识别,都是一种单模态的情感识别,它们仅仅是利用了情感的单特征表达方式。事实上,人类表达情感往往是伴随着多种方式,例如在高兴的时候,脸上会露出开心的表情,同时身体也会发生动作,说话的语调也会比较高亢。所以,利用多种模态的特征来进行情感识别符合人类本身表达情感的方式,也会提高其特征多样性,从而有利...
【文章来源】：中央民族大学北京市 211工程院校 985工程院校
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
图２－２表情预处理??
开始：１０ｓ?视频：３?ｍ?＾休息：１０ｓ??Ｖｘ??ｔｒｉａｌ?１?｜?＞?ｔｒｉａｌ?２?｜?＞?ｔｒｉａｌ?３?Ｉ?…??图２－１实验采集流程图??２．２基于静态表情帧的情感识别??２．２．丨表情视频的预处理??原始表情数据以视频的方式呈现，它包括了被试情绪变化的过程。因此，我们需要??做的第一步是将视频切分成郑在这个过程中需要结合采集表情视频的采样频率，以便??更好地切分成郑在本实验中，设置的帧频率为１３顿／秒，每个ｔｒａｉｌ时长２００ｓ，可以切??分成２６００张静态图片；第二步，帧的选龋排除掉前后１０ｓ的２６０张图片。设置时间间??隔为ｌｓ，最后每个ｔｒａｉｌ得到１８０张图片，１２个ｔｒａｉｌ总计２１６０张；第三步，人脸检测。??为了后续更好地提取表情特征和减少噪音，我们需要将一些除人脸以外的部位筛选掉。??人脸检测是指采用一定的方法来确定图片中是否含有人脸，如果是，则返回面部的位置、??大小和姿势。利用人脸检测对表情图片进行处理，进而获取可用的人脸表情部分。整个??预处理的流程如图２－２：??＜?＿練?＞??〈视频切分＾￣￣人脸检测??图２－２表情预处理??９??
要手动建立ｈａｐｐｙ，?ｎｅｔｕｒａｌ，ｓａｄ三??个文件夹，并且在其文件夹下建立以〇，?１，２，?３?（分别代表了?４个片段的情绪图片，此??处目的仅仅是为了方便后续与脑电的对应），将其对应帧图片依次放入对应的文件夹下。??３）人脸检测。此部分依靠的ｏｐｅｎｃｖ里的人脸切割模块。分别将子文件夹下的表情??图片进行检测并切割。由于切割过后的图片大小有差异，所以最后需统一大小为２５６＊２５６。??１５个被试者在经过预处理后获得数据集数目为３２４００。表情变化视频经过预处理后??的结果如图２－３，展示了三种情绪的表情。??ＭＵＢＪ?ＪＭ??ｙｖＨ??图２－３三种不同情绪表情图片??２．２．２卷积神经网络模型??在传统表情识别上，特征提取和分类是独立的？，并且大多数都是基于传统机器学习。??在深度学习的方法中，卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｔｕｒａｌ?Ｎｅｔｗｏｒｋ，?ＣＮＮ）因其权值??共享、局部连接和视野的特点而被广泛用于图像上。??ＣＮＮ是一种多层神经网络，其基本结构是输入层，卷积层，池化层，全连接层，输??出层（分类器）。??卷积层（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｌａｙｅｒ）：在卷积神经网络中，每个卷积层由若干个卷积单元??组成。采用反向传播算法对各卷积单元的参数进行优化。卷积运算的目的是提取输入的??不同特征。卷积层的第一层可能只能提取边缘、直线和角度等层级。多层网络可以迭代??１０??
【参考文献】：
期刊论文
[1]基于深度卷积神经网络的脑电信号情感识别[J]. 陈景霞,王丽艳,贾小云,张鹏伟. 计算机工程与应用. 2019(18)
[2]多模深度卷积神经网络应用于视频表情识别[J]. 潘仙张,张石清,郭文平. 光学精密工程. 2019(04)
[3]基于LSTM的脑电情绪识别模型[J]. 阚威,李云. 南京大学学报(自然科学). 2019(01)
[4]结合滑动窗口动态时间规整和CNN的视频人脸表情识别[J]. 胡敏,张柯柯,王晓华,任福继. 中国图象图形学报. 2018(08)
[5]融合表情和BVP生理信号的双模态视频情感识别[J]. 任福继,于曼丽,胡敏,李艳秋. 中国图象图形学报. 2018(05)
[6]多模态情感识别研究进展[J]. 何俊,刘跃,何忠文. 计算机应用研究. 2018(11)
[7]情感识别综述[J]. 潘莹. 电脑知识与技术. 2018(08)
[8]基于人脸表情和语音的双模态情感识别[J]. 闫静杰,卢官明,李海波,王珊珊. 南京邮电大学学报(自然科学版). 2018(01)
[9]基于深度学习的脑电信号特征识别[J]. 张韩,杨济民. 电脑知识与技术. 2018(05)
[10]结合人脸图像和脑电的情绪识别技术[J]. 黄泳锐,杨健豪,廖鹏凯,潘家辉. 计算机系统应用. 2018(02)
博士论文
[1]基于多源信息的步态识别算法研究[D]. 刘磊.河北工业大学 2015
硕士论文
[1]基于脑电的情绪识别研究与系统开发[D]. 阚威.南京邮电大学 2019
[2]基于脑电信号的情感识别[D]. 沈成业.太原理工大学 2017
[3]基于多元模式分析的情绪脑电识别[D]. 刘欢.电子科技大学 2017
[4]基于视频刺激的脑电信号特征研究[D]. 宋晓远.中央民族大学 2016
[5]基于脑电信号样本熵的情感识别[D]. 李立.太原理工大学 2014
[6]基于纹理和几何特征的人脸表情识别算法研究[D]. 朱弘.合肥工业大学 2014
[7]基于图像特征空间学习的图像分类方法研究[D]. 刘三军.西安电子科技大学 2014
[8]基于脑电信号的视频诱发情绪识别[D]. 段若男.上海交通大学 2014
[9]基于用户独立模型的生理情感识别[D]. 王丹丹.天津大学 2014
[10]多模态融合的情感识别研究[D]. 曹田熠.天津大学 2012
本文编号：2956836
【文章来源】：中央民族大学北京市 211工程院校 985工程院校
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
图２－２表情预处理??
开始：１０ｓ?视频：３?ｍ?＾休息：１０ｓ??Ｖｘ??ｔｒｉａｌ?１?｜?＞?ｔｒｉａｌ?２?｜?＞?ｔｒｉａｌ?３?Ｉ?…??图２－１实验采集流程图??２．２基于静态表情帧的情感识别??２．２．丨表情视频的预处理??原始表情数据以视频的方式呈现，它包括了被试情绪变化的过程。因此，我们需要??做的第一步是将视频切分成郑在这个过程中需要结合采集表情视频的采样频率，以便??更好地切分成郑在本实验中，设置的帧频率为１３顿／秒，每个ｔｒａｉｌ时长２００ｓ，可以切??分成２６００张静态图片；第二步，帧的选龋排除掉前后１０ｓ的２６０张图片。设置时间间??隔为ｌｓ，最后每个ｔｒａｉｌ得到１８０张图片，１２个ｔｒａｉｌ总计２１６０张；第三步，人脸检测。??为了后续更好地提取表情特征和减少噪音，我们需要将一些除人脸以外的部位筛选掉。??人脸检测是指采用一定的方法来确定图片中是否含有人脸，如果是，则返回面部的位置、??大小和姿势。利用人脸检测对表情图片进行处理，进而获取可用的人脸表情部分。整个??预处理的流程如图２－２：??＜?＿練?＞??〈视频切分＾￣￣人脸检测??图２－２表情预处理??９??
要手动建立ｈａｐｐｙ，?ｎｅｔｕｒａｌ，ｓａｄ三??个文件夹，并且在其文件夹下建立以〇，?１，２，?３?（分别代表了?４个片段的情绪图片，此??处目的仅仅是为了方便后续与脑电的对应），将其对应帧图片依次放入对应的文件夹下。??３）人脸检测。此部分依靠的ｏｐｅｎｃｖ里的人脸切割模块。分别将子文件夹下的表情??图片进行检测并切割。由于切割过后的图片大小有差异，所以最后需统一大小为２５６＊２５６。??１５个被试者在经过预处理后获得数据集数目为３２４００。表情变化视频经过预处理后??的结果如图２－３，展示了三种情绪的表情。??ＭＵＢＪ?ＪＭ??ｙｖＨ??图２－３三种不同情绪表情图片??２．２．２卷积神经网络模型??在传统表情识别上，特征提取和分类是独立的？，并且大多数都是基于传统机器学习。??在深度学习的方法中，卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｔｕｒａｌ?Ｎｅｔｗｏｒｋ，?ＣＮＮ）因其权值??共享、局部连接和视野的特点而被广泛用于图像上。??ＣＮＮ是一种多层神经网络，其基本结构是输入层，卷积层，池化层，全连接层，输??出层（分类器）。??卷积层（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｌａｙｅｒ）：在卷积神经网络中，每个卷积层由若干个卷积单元??组成。采用反向传播算法对各卷积单元的参数进行优化。卷积运算的目的是提取输入的??不同特征。卷积层的第一层可能只能提取边缘、直线和角度等层级。多层网络可以迭代??１０??
【参考文献】：
期刊论文
[1]基于深度卷积神经网络的脑电信号情感识别[J]. 陈景霞,王丽艳,贾小云,张鹏伟. 计算机工程与应用. 2019(18)
[2]多模深度卷积神经网络应用于视频表情识别[J]. 潘仙张,张石清,郭文平. 光学精密工程. 2019(04)
[3]基于LSTM的脑电情绪识别模型[J]. 阚威,李云. 南京大学学报(自然科学). 2019(01)
[4]结合滑动窗口动态时间规整和CNN的视频人脸表情识别[J]. 胡敏,张柯柯,王晓华,任福继. 中国图象图形学报. 2018(08)
[5]融合表情和BVP生理信号的双模态视频情感识别[J]. 任福继,于曼丽,胡敏,李艳秋. 中国图象图形学报. 2018(05)
[6]多模态情感识别研究进展[J]. 何俊,刘跃,何忠文. 计算机应用研究. 2018(11)
[7]情感识别综述[J]. 潘莹. 电脑知识与技术. 2018(08)
[8]基于人脸表情和语音的双模态情感识别[J]. 闫静杰,卢官明,李海波,王珊珊. 南京邮电大学学报(自然科学版). 2018(01)
[9]基于深度学习的脑电信号特征识别[J]. 张韩,杨济民. 电脑知识与技术. 2018(05)
[10]结合人脸图像和脑电的情绪识别技术[J]. 黄泳锐,杨健豪,廖鹏凯,潘家辉. 计算机系统应用. 2018(02)
博士论文
[1]基于多源信息的步态识别算法研究[D]. 刘磊.河北工业大学 2015
硕士论文
[1]基于脑电的情绪识别研究与系统开发[D]. 阚威.南京邮电大学 2019
[2]基于脑电信号的情感识别[D]. 沈成业.太原理工大学 2017
[3]基于多元模式分析的情绪脑电识别[D]. 刘欢.电子科技大学 2017
[4]基于视频刺激的脑电信号特征研究[D]. 宋晓远.中央民族大学 2016
[5]基于脑电信号样本熵的情感识别[D]. 李立.太原理工大学 2014
[6]基于纹理和几何特征的人脸表情识别算法研究[D]. 朱弘.合肥工业大学 2014
[7]基于图像特征空间学习的图像分类方法研究[D]. 刘三军.西安电子科技大学 2014
[8]基于脑电信号的视频诱发情绪识别[D]. 段若男.上海交通大学 2014
[9]基于用户独立模型的生理情感识别[D]. 王丹丹.天津大学 2014
[10]多模态融合的情感识别研究[D]. 曹田熠.天津大学 2012
本文编号：2956836
本文链接：https://www.wllwen.com/shoufeilunwen/benkebiyelunwen/2956836.html
