基于生理信号多模态情感识别研究

发布时间：2020-04-17 21:27

【摘要】：情感计算是实现人机交互的桥梁,其中情感计算中情感识别是一个至关重要的过程。情感识别根据情绪表达方法不同,可分为基于言语行为与基于非言语行为。在基于言语行为方面,研究者们大多关注于使用表情与语音分析用户情感状态,而在非言语行为方面,由于生理状态也包含大量情感信息,且被试者不受某些原因的影响,如刻意隐藏消极等,因此,基于非言语情感识别越来越受到研究者们的重视。基于非言语情感识别又可分为基于单模态和基于多模态情感识别,由于基于多模态情感识别可以利用多种信号,从多个方面去识别用户情感,其结果更加具有客观性和准确性,因此,基于多模态情感识别已经成为研究者们探索的焦点。在基于多模态情感识别中,由于脑电信号(EEG)反映用户中枢神经系统的情绪变化,外周生理信号反映用户自主神经系统的情绪反应,因此这两种信号得到了广泛使用。然而研究存在一个现实问题,脑电信号(EEG)需专业设备采集,所以采集过程比较困难和昂贵。基于上述原因,可以将脑电信号作为辅助信息来提高情感识别性能,因此本文提出基于典型性相关分析(CCA)、判别型典型性相关分析(DCCA)、加核判别型典型性相关分析(KDCCA)以及深度判别型典型性相关分析(DDCCA)的脑电信号辅助外周生理信号多模态情感识别。在训练期间,先提取外周生理信号及脑电信号,在脑电信号的辅助下,使用多种相关性分析算法创建情感判别空间,然后使用机器学习方法构建情感模型;在测试期间,只使用外周生理信号测试。本文分别从两个公开数据集DEAP数据集与DECAF数据集上进行实验,前期完成数据集的预处理、特征提取等操作,后期实现分类方法的模型训练及结果分析。在两个数据集上的多组实验结果统计分析数据表明本文使用多种特征融合技术中深度判别型典型性相关分析(DDCCA)的脑电信号辅助外周生理信号的方法可以提高情感识别性能,与之前同领域方法相比准确率提高9.31%,F1系数提高0.1467,根据多组实验证明结果具备一定程度可比性。本方法达到了较好的情感识别效果,可以实现在现实生活中非线性问题下情感识别目标。
【图文】：

—逦一邋逦逦邋天津师范大学硕士学位论文—逦逡逑取的生理信号特征包括频域特征、时域特征、时频域特征和非线性特征；将数据逡逑根据一定方法分成训练集和测试集，比如留一法，交叉验证法等，通过一些特征逡逑融合和特征选择方法处理特征，在训练阶段，使用训练集放到机器学习方法中的逡逑多种分类器中，训练出多个情感模型，在测试阶段，把测试数据放入构建好的情逡逑感模型中，映射出相应的情感状态；最后选择合适表达方法输出情感预测结果。逡逑、

逦ｊ逡逑本实验课题基于生理信号脑电信号辅助外周生理信号多模态情感识别基本逡逑框架如图２．４所示，具体主要流程步骤如下：ａ．利用专业活性电极设备和多种传感逡逑器采集脑电信号（ＥＥＧ）和外周生理信号，并通过小波变换、滤波器滤波和通道逡逑校正等进行脑电信号和外周生理信号预处理，消除脑电信号以及外周生理信号基逡逑线漂移等干扰信息。ｂ．提取脑电特征和外周生理特征。ｃ．在训练阶段，，分别使用逡逑典型性相关分析（ＣＣＡ）、判别型典型性相关分析（ＤＣＣＡ）、加核的判别型典逡逑型性相关分析（ＫＤＣＣＡ）和深度判别型典型性相关分析（ＤＤＣＣＡ），以脑电特逡逑征作为辅助信息，协助外周生理信号构造情感判别空间。ｄ．利用机器学习中多种逡逑分类器，例如支持向量机（ＳＶＭ）、随机森林（ＲＦ）、ｋ－近邻法（ＫＮＮ）和集逡逑成学习法（Ｅｎｓｅｍｂｌｅ邋Ｌｅａｒｎｉｎｇ）构建情感模型。ｅ．在测试阶段，只将外周生理信逡逑号放到情感判别空间中
【学位授予单位】：天津师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP18;TN911.7

【相似文献】

相关期刊论文 前10条

1 胡冬妮;王武军;王青;;基于知网数据的情感识别国内研究情况综述[J];网络新媒体技术;2018年06期

2 韩志艳;王健;;基于模糊核聚类的多模式情感识别算法研究[J];电子设计工程;2016年20期

3 陈晓鸥;杨德顺;;音乐情感识别研究进展[J];复旦学报(自然科学版);2017年02期

4 潘莹;;情感识别综述[J];电脑知识与技术;2018年08期

5 金磊;高梓瀚;冯琛;;情感识别算法应用现状及发展趋势研究[J];电子世界;2019年15期

6 李超;赵文萍;赵子平;;多视角判别分析的情感识别[J];信号处理;2018年08期

7 张力行;叶宁;黄海平;王汝传;;基于皮肤电信号与文本信息的双模态情感识别系统[J];计算机系统应用;2018年11期

8 吴琨;王汉友;;情感化设计与品牌情感识别[J];时代人物;2008年11期

9 余梓彤;李晓白;赵国英;;情感识别与教育[J];人工智能;2019年03期

10 刘晓东;王淼;李松阳;;一种基于行为上下文的视频情感识别方法[J];微电子学与计算机;2019年05期

相关会议论文 前10条

1 毛峡;;从科学中感知美丽[A];2015年中国自动化大会摘要集[C];2015年

2 杨广映;杨善晓;;基于表面肌电信号的情感识别研究[A];第三届中国智能计算大会论文集[C];2009年

3 王志强;熊子东;傅向华;;基于螺旋模型的歌曲情感识别算法研究[A];第七届和谐人机环境联合学术会议（HHME2011)论文集【oral】[C];2011年

4 张伟;谢湘;;基于HMM的音乐情感识别研究[A];第九届全国人机语音通讯学术会议论文集[C];2007年

5 黄力行;辛乐;赵礼悦;陶建华;;自适应权重的双模态情感识别[A];第九届全国人机语音通讯学术会议论文集[C];2007年

6 钱金法;赵力;;穿戴式生理参数测量仪研究及在儿童情感识别中的应用[A];2006’和谐开发中国西部声学学术交流会论文集[C];2006年

7 宋鹏;郑文明;赵力;;基于特征迁移学习方法的跨库语音情感识别[A];第十三届全国人机语音通讯学术会议(NCMMSC2015)论文集[C];2015年

8 陈方方;孙耀挺;张龙;汪凯;;大学生自闭特质与情绪感知的关系[A];华东六省一市第二十三次神经病学学术会议暨2016年浙江省神经病学学术年会论文汇编[C];2016年

9 张庆;卢家楣;;优秀教师的情感识别能力的研究[A];第十七届全国心理学学术会议论文摘要集[C];2014年

10 薛竞腾;赵力;;语音信号中的情感特征识别[A];2007’促进西部发展声学学术交流会论文集[C];2007年

相关重要报纸文章 前5条

1 品牌策划人 林友清;品牌视觉是心智的入场券[N];华夏酒报;2017年

2 刘国信;人工智能成电视行业竞争新“赛道”[N];人民邮电;2017年

3 记者　邰举;韩开发出脑电波情感识别技术[N];科技日报;2007年

4 黄力行邋陶建华;多模态情感识别参透人心[N];计算机世界;2007年

5 中国工业报记者 曹雅丽;辛国斌：加强国际合作 推动机器人产业高质量发展[N];中国工业报;2018年

相关博士学位论文 前10条

1 许峰;基于深度学习的网络舆情识别研究[D];北京邮电大学;2019年

2 魏薇;基于加权融合策略的情感识别建模方法研究[D];北京邮电大学;2019年

3 李超;多模态生理信号情感识别研究[D];天津大学;2017年

4 林奕琳;基于语音信号的情感识别研究[D];华南理工大学;2006年

5 程静;基本情感生理信号的非线性特征提取研究[D];西南大学;2015年

6 刘英杰;网络舆情的信息情感维度空间构建和信息情感元识别研究[D];吉林大学;2017年

7 朱亚忱;基于特权信息的情感识别[D];中国科学技术大学;2015年

8 王金伟;基于表情时空特征的认知情感状态识别研究[D];天津大学;2014年

9 张石清;基于语音和人脸的情感识别研究[D];电子科技大学;2012年

10 韩文静;语音情感识别关键技术研究[D];哈尔滨工业大学;2013年

相关硕士学位论文 前10条

1 汤宇豪;基于注意力模型的连续维度情感识别方法研究[D];江苏大学;2019年

2 鞠思航;基于脑电和生理信号的多模态情感分类方法研究[D];合肥工业大学;2019年

3 郭金良;基于稀疏组lasso-granger因果关系特征的EEG情感识别[D];合肥工业大学;2019年

4 赵文萍;基于生理信号多模态情感识别研究[D];天津师范大学;2019年

5 张京儒;基于深度学习和脑机接口的服务机器人情感识别方法研究[D];华南理工大学;2019年

6 汪阳;基于多模态眼动信息的情感识别算法及应用研究[D];安徽大学;2019年

7 李文超;基于独立分量分析的脑电情感识别算法研究[D];安徽大学;2019年

8 范佳慧;基于视音频多特征融合的情感识别研究[D];郑州大学;2019年

9 马江河;融合语音信号和脑电信号的多模态情感识别[D];太原理工大学;2019年

10 张园园;基于深度学习的多模态情感识别方法研究[D];中国科学技术大学;2019年

本文编号：2631318