基于皮肤电信号与文本信息的双模态情感识别方法研究

发布时间：2020-11-12 09:47

　　 随着社会的高速发展,当今的人机交互方式已经不满足于鼠标键盘这种纯逻辑交互方式来使机器理解和接受人的指令。我们更希望机器能像人一样去理解各种情感特征并作出相应的反应,这就要求为机器加入情感识别功能。目前,单模态的情感识别或单一生物信号的融合情感识别都已经取得了很大的进步。如单模态的皮肤电情感识别或融合皮肤电、脉搏、脑电等的情感识别都已经取得重大的成果。但是作为不同类型的情感识别融合还鲜有人关注。其中文本信息作为人类最常用的交流手段之一,其本身蕴藏着丰富的情感资源,但是通过文本信息识别情感有着天然的缺陷,它主观性强,往往人们可以隐藏自己的情绪。皮肤电信号作为生理参数只受自主神经系统和内分泌系统的分配,不受人的主观控制,这样就防止了人为的“作假”,而且它相比其他生理参数更易于采集。本文提出的双模态情感识别是将文本信息与皮肤电信号进行融合,双模态融合的情感识别本身就丰富了情感信息,再加上来源不同类型的情感信号很好的弥补了同一生物信号融合的局限性,大大提高了情感识别的准确率。首先对文本信息进行预处理,包括规范编码、去噪、分词和词性标注、语法分析,然后对其进行特征提取就。其次,利用体感传感器采集实验人的皮肤电参数,建立生理信号数据库,然后对采集到的皮肤电参数进行去噪处理,提取28个统计特征值,将数据进行归一化处理。然后通过对皮肤电特征参数和文本信息的情感关键词特征参数提取并对其进行优化,分别设计支持向量机算法和遗传算法优化的人工神经网络算法作为单个模态的情感分类器。最后准备好双模态情感识别实验下需要的样本数据和数据库,利用排序式选举算法优化的高斯混合模型对判决层进行加权融合,完成测试并与两个单模态情感识别进行比较。实验表明,情感识别的准确率显著提高。
【学位单位】：南京邮电大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：R318;TN911.7
【部分图文】：

图 3.1 SVM 原理图个超平面之间的距离，于是最大化类间间距的问题就在满足小的问题了。SVM 的训练问题就可以用如下公式表示，对在满足式子(3-16)的条件下，找出 w 和 b 的最优解。2|| ||w) 1 0b ， i 1, 2,...,N 拉格朗日乘法解出该问题。但是在日常生活中，我们面对的复杂的多，很难满足式子(3.17)，为此我们引入松弛变量E 变成如下样式：211|| ||2Niiw + C

图 4.3 人工神经元模型na 为从其他神经元传递来的输入信号，ijw 为权重值，即加权系外部输入信号有关系还与神经元内部其他因素有关系，我们这里元的模型中额外加入一个输入信号，我们称之为阈值，也叫偏差j i x )激活函数也叫转移函数，net 称为净激活。如果将偏差值 看成的权重0 jw ，那么公式可以简化为：j i x

硕士研究生学位论文 第四章 基于神经网络的皮肤电信号的情较，输出结果如果与预期结果不符，则需要调整权值直到相符合为止。无许多，它直接交给网络系统自己调整，内部系统和学习规则随着系统的形神经网络算法多种多样，常用的神经网络有： BP 网络、径向基函数网络P 神经网络应用最为广泛，因为其具有机构简单易用、众多的参数可调整、作性强等特点。它是一种多层前馈的神经网络，据研究统计，在研究中采用它变形后的算法达到惊人的 90%多，所以本文也已 BP 神经网络算法为对的 BP 神经网络一个三层前馈网络，它包含输入、隐含和输出三层。如图 4.4
【相似文献】

相关期刊论文 前10条

1 胡冬妮;王武军;王青;;基于知网数据的情感识别国内研究情况综述[J];网络新媒体技术;2018年06期

2 韩志艳;王健;;基于模糊核聚类的多模式情感识别算法研究[J];电子设计工程;2016年20期

3 陈晓鸥;杨德顺;;音乐情感识别研究进展[J];复旦学报(自然科学版);2017年02期

4 潘莹;;情感识别综述[J];电脑知识与技术;2018年08期

5 金磊;高梓瀚;冯琛;;情感识别算法应用现状及发展趋势研究[J];电子世界;2019年15期

6 李超;赵文萍;赵子平;;多视角判别分析的情感识别[J];信号处理;2018年08期

7 张力行;叶宁;黄海平;王汝传;;基于皮肤电信号与文本信息的双模态情感识别系统[J];计算机系统应用;2018年11期

8 吴琨;王汉友;;情感化设计与品牌情感识别[J];时代人物;2008年11期

9 余梓彤;李晓白;赵国英;;情感识别与教育[J];人工智能;2019年03期

10 刘晓东;王淼;李松阳;;一种基于行为上下文的视频情感识别方法[J];微电子学与计算机;2019年05期

相关博士学位论文 前10条

1 许峰;基于深度学习的网络舆情识别研究[D];北京邮电大学;2019年

2 魏薇;基于加权融合策略的情感识别建模方法研究[D];北京邮电大学;2019年

3 李超;多模态生理信号情感识别研究[D];天津大学;2017年

4 林奕琳;基于语音信号的情感识别研究[D];华南理工大学;2006年

5 程静;基本情感生理信号的非线性特征提取研究[D];西南大学;2015年

6 刘英杰;网络舆情的信息情感维度空间构建和信息情感元识别研究[D];吉林大学;2017年

7 朱亚忱;基于特权信息的情感识别[D];中国科学技术大学;2015年

8 王金伟;基于表情时空特征的认知情感状态识别研究[D];天津大学;2014年

9 张石清;基于语音和人脸的情感识别研究[D];电子科技大学;2012年

10 韩文静;语音情感识别关键技术研究[D];哈尔滨工业大学;2013年

相关硕士学位论文 前10条

1 吴莹;多生理信号的情感识别研究[D];哈尔滨工业大学;2019年

2 张京儒;基于深度学习和脑机接口的服务机器人情感识别方法研究[D];华南理工大学;2019年

3 郭迪;基于深度学习的表情和姿态双模态情感识别[D];南京邮电大学;2019年

4 谢桥;基于多尺度分析和集成树模型的脑电情感识别方法研究及系统设计[D];中国地质大学;2019年

5 张力行;基于皮肤电信号与文本信息的双模态情感识别方法研究[D];南京邮电大学;2019年

6 郭金良;基于稀疏组lasso-granger因果关系特征的EEG情感识别[D];合肥工业大学;2019年

7 鞠思航;基于脑电和生理信号的多模态情感分类方法研究[D];合肥工业大学;2019年

8 赵文萍;基于生理信号多模态情感识别研究[D];天津师范大学;2019年

9 汪阳;基于多模态眼动信息的情感识别算法及应用研究[D];安徽大学;2019年

10 李文超;基于独立分量分析的脑电情感识别算法研究[D];安徽大学;2019年

本文编号：2880594