基于加权融合策略的情感识别建模方法研究

发布时间：2020-09-21 20:49

　　 随着智能机器人技术的不断发展,应用领域的不断扩大,人机交互任务也日趋复杂。利用情感识别模型,赋予机器人类人的情感认知能力,可以实现高效、自然、和谐的智能人机交互。情感识别模型性能涉及运算量、识别率等多个指标,在建模过程中,如特征工程、模型分析与模型融合等,都涉及多通道信息的融合问题。因此,开展基于加权融合策略的情感识别建模方法研究,以提高模型的识别率,具有重要的理论意义和工程价值。本文以情感识别模型作为研究对象,提高模型识别率作为研究目标,开展基于加权融合策略的情感识别建模方法研究。考虑人体情感信息类型和情感特征的多样性,根据模型对正确率和运算量的要求,针对建模过程中的特征级融合、模型级融合、决策级融合以及权重确定方法等关键技术进行深入的研究,本文的主要工作如下。1)基于面部图像特征级融合的表情识别。凭借面部结构与心理学方面的研究结果与经验,选择与面部表情密切相关的眼睛、眉毛、嘴巴及周边部位的特征点,利用其二维坐标得到几何特征。凭借以深度学习为突破点的纯数据驱动的特征学习算法,构建一个多层的卷积神经网络,让机器自主地从样本数据中逐层地学习,得到表征样本更加本质的深度特征。根据表情识别模型的特点,引入特征级融合,线性串联两种特征构成表情图像的多特征,达到信息上的互补,从而提高模型识别率。2)基于面部图像模型级融合的表情识别。分析面部结构,选择能够体现面部的主要形态且不会因为模型的不同而改变其相对位置的特征点,凭借面部肌肉运动范围大小将面部分区,并根据分区将特征点分为互不相交的特征组。利用单组特征的识别率,引入基于反馈的原理,设计权重确定方法,并引入刚性原理,分析面部不同分区的刚性,将其作为检验权重正确性的依据。在此基础上引入模型级融合,根据分类模型特点设计加权核函数,实现特征的非线性加权融合,增加强相关特征对分类结果的影响并减少弱相关特征对分类结果的影响,从而提高模型识别率。3)基于多种生理信号决策级融合的情感识别。由于多种人体生理活动与情感状态相关,同时对应的人体表征信号多样,选择可用于情感识别的4种生理信号,包括脑电信号、心电信号、呼吸信号以及皮肤电信号,根据信号种类的不同分别建立特征提取模型。针对生理信号对情感状态的表现力强弱各异,根据生理信号对情感状态的识别率,引入基于反馈的原理,设计权重确定方法。根据情感识别模型的特点,在决策级引入加权融合和最大值规则,充分发挥生理信号的优势,从而提高模型识别率。4)基于多模态信息特征级和决策级融合的情感识别。分析人体结构与情感信号,选择视觉信号和生理信号构成多模态情感信息。其中,视觉信号为面部表情的彩色图像序列,生理信号包括脑电信号、心电信号、呼吸信号以及皮肤电信号4种信号。引入特征级融合,串联视觉信号特征和生理信号特征得到4种多模态特征,利用多模态特征对情感状态的识别率,引入基于反馈的原理,设计权重确定方法。根据情感识别模型的特点,在决策级引入加权融合和最大值规则,充分发挥多模态情感信息的优势,从而提高模型识别率。
【学位单位】：北京邮电大学
【学位级别】：博士
【学位年份】：2019
【中图分类】：TP18;TN911.7;TP391.41
【部分图文】：

奢－逡逑图１－１教育辅助机器人逦图１－２救援机器人逡逑ｌｉ＾Ｔ！＇邋Ｉ邋ｈ，逡逑，攃逡逑图１－３辅助医疗机器人逦图１＂４助老助残机器人逡逑在教育领域，优秀教师凭借多年的教学经验可以做到“因材施教”，拥有情逡逑感识别能力的智能机器人可以实现自适应教学，对学生进行有针对性的一对一指逡逑导，根据不同学习状况自动适应［２］，如图１－１所示。在消防救援领域，被困人员逡逑１逡逑

能研究中尤为重要。逡逑ＩｚＨ，奢－逡逑图１－１教育辅助机器人逦图１－２救援机器人逡逑ｌｉ＾Ｔ！＇邋Ｉ邋ｈ，逡逑，攃逡逑图１－３辅助医疗机器人逦图１＂４助老助残机器人逡逑在教育领域，优秀教师凭借多年的教学经验可以做到“因材施教”，拥有情逡逑感识别能力的智能机器人可以实现自适应教学，对学生进行有针对性的一对一指逡逑导，根据不同学习状况自动适应［２］，如图１－１所示。在消防救援领域，被困人员逡逑１逡逑

逑在高温高压、有毒有害等特殊环境下情绪波动较大，救援机器人根据被困人员情逡逑感状态调整救援流程，增加救援成功几率［３］，如图１－２。在辅助医疗领域，康复逡逑训练是一个枯燥乏味的重复性过程，根据患者情感状态及时调整训练进程并对恢逡逑复状况实时评定，有助于增强患者对康复治疗的信心，此外患者在医院康复治疗逡逑中心进行康复训练的花费巨大，而经济是医疗辅助机器人另一大特点［４］，如图１－３。逡逑在助老助残领域，由于老龄化己成为２１世纪全球性趋势，并且世界上有５亿多逡逑残疾人，智能机器人辅助进行家务劳动，提供多样性护理服务的同时，可以丰富逡逑精神生活，实现生活质量地改善［５］，如图１－４。因此，情感识别在实现人机之间逡逑智能交互起着不可替代的作用。逡逑情逡逑主观体验邋胃逡逑外部表现逡逑生理唤醒逡逑图１－５人体情感结构图逡逑情感状态作为一种内在的、主观的感受，如何能够被准确、有效地认知，是逡逑情感识别研宄需要解决的一个根本问题。情感具有三种成分：主观体验（个体对逡逑不同情感状态的自我感受）、外部表现（情感状态发生时身体各部分的动作量化逡逑形式

【相似文献】

相关期刊论文 前10条

1 胡冬妮;王武军;王青;;基于知网数据的情感识别国内研究情况综述[J];网络新媒体技术;2018年06期

2 韩志艳;王健;;基于模糊核聚类的多模式情感识别算法研究[J];电子设计工程;2016年20期

3 陈晓鸥;杨德顺;;音乐情感识别研究进展[J];复旦学报(自然科学版);2017年02期

4 潘莹;;情感识别综述[J];电脑知识与技术;2018年08期

5 李超;赵文萍;赵子平;;多视角判别分析的情感识别[J];信号处理;2018年08期

6 张力行;叶宁;黄海平;王汝传;;基于皮肤电信号与文本信息的双模态情感识别系统[J];计算机系统应用;2018年11期

7 吴琨;王汉友;;情感化设计与品牌情感识别[J];时代人物;2008年11期

8 余梓彤;李晓白;赵国英;;情感识别与教育[J];人工智能;2019年03期

9 刘晓东;王淼;李松阳;;一种基于行为上下文的视频情感识别方法[J];微电子学与计算机;2019年05期

10 ;全球首个具有情感识别功能的家用机器人[J];传感器世界;2014年06期

相关会议论文 前10条

1 毛峡;;从科学中感知美丽[A];2015年中国自动化大会摘要集[C];2015年

2 杨广映;杨善晓;;基于表面肌电信号的情感识别研究[A];第三届中国智能计算大会论文集[C];2009年

3 王志强;熊子东;傅向华;;基于螺旋模型的歌曲情感识别算法研究[A];第七届和谐人机环境联合学术会议（HHME2011)论文集【oral】[C];2011年

4 张伟;谢湘;;基于HMM的音乐情感识别研究[A];第九届全国人机语音通讯学术会议论文集[C];2007年

5 黄力行;辛乐;赵礼悦;陶建华;;自适应权重的双模态情感识别[A];第九届全国人机语音通讯学术会议论文集[C];2007年

6 钱金法;赵力;;穿戴式生理参数测量仪研究及在儿童情感识别中的应用[A];2006’和谐开发中国西部声学学术交流会论文集[C];2006年

7 宋鹏;郑文明;赵力;;基于特征迁移学习方法的跨库语音情感识别[A];第十三届全国人机语音通讯学术会议(NCMMSC2015)论文集[C];2015年

8 陈方方;孙耀挺;张龙;汪凯;;大学生自闭特质与情绪感知的关系[A];华东六省一市第二十三次神经病学学术会议暨2016年浙江省神经病学学术年会论文汇编[C];2016年

9 张庆;卢家楣;;优秀教师的情感识别能力的研究[A];第十七届全国心理学学术会议论文摘要集[C];2014年

10 薛竞腾;赵力;;语音信号中的情感特征识别[A];2007’促进西部发展声学学术交流会论文集[C];2007年

相关重要报纸文章 前5条

1 品牌策划人 林友清;品牌视觉是心智的入场券[N];华夏酒报;2017年

2 刘国信;人工智能成电视行业竞争新“赛道”[N];人民邮电;2017年

3 记者　邰举;韩开发出脑电波情感识别技术[N];科技日报;2007年

4 黄力行邋陶建华;多模态情感识别参透人心[N];计算机世界;2007年

5 中国工业报记者 曹雅丽;辛国斌：加强国际合作 推动机器人产业高质量发展[N];中国工业报;2018年

相关博士学位论文 前10条

1 魏薇;基于加权融合策略的情感识别建模方法研究[D];北京邮电大学;2019年

2 许峰;基于深度学习的网络舆情识别研究[D];北京邮电大学;2019年

3 李超;多模态生理信号情感识别研究[D];天津大学;2017年

4 林奕琳;基于语音信号的情感识别研究[D];华南理工大学;2006年

5 程静;基本情感生理信号的非线性特征提取研究[D];西南大学;2015年

6 刘英杰;网络舆情的信息情感维度空间构建和信息情感元识别研究[D];吉林大学;2017年

7 朱亚忱;基于特权信息的情感识别[D];中国科学技术大学;2015年

8 王金伟;基于表情时空特征的认知情感状态识别研究[D];天津大学;2014年

9 张石清;基于语音和人脸的情感识别研究[D];电子科技大学;2012年

10 韩文静;语音情感识别关键技术研究[D];哈尔滨工业大学;2013年

相关硕士学位论文 前10条

1 王映丽;基于人脸视频的心率特征提取方法研究[D];天津理工大学;2019年

2 路婷婷;基于语音和人脸表情的多模态情感识别算法研究[D];西北大学;2018年

3 朱宗宝;面向老年人语音与面部表情的情感识别研究[D];安徽建筑大学;2018年

4 吴浩鹏;双模态信息融合的情感识别研究[D];内蒙古工业大学;2018年

5 李钟;基于多生理信号的情感识别方法研究[D];河南大学;2018年

6 潘瑞（PERRY FORDSON）;基于多模态人体数据情绪识别及特征学习方法研究[D];华南理工大学;2018年

7 赵亮;基于脑电信号间Granger因果关系的情感识别[D];合肥工业大学;2018年

8 陈占刚;基于深度神经网络的脑电情感识别研究[D];合肥工业大学;2018年

9 李才隆;基于人体生理信号的情感识别研究[D];南京邮电大学;2018年

10 胡小三;基于多生理信号情感识别与预测系统的研究与实现[D];南京邮电大学;2018年

本文编号：2823978