基于深度学习的语音情感识别建模研究

发布时间：2020-04-30 03:22

【摘要】：随着计算机技术的发展和人工智能的普及,语音情感识别研究收到学界和工业届的广泛关注。目前的情感识别任务大多采用人工提取多种声学特征并物理降维,构建特征工程的方法,提升识别结果。本文旨在探究语音中情感信息的表达,了解语音中情感信息的变与不变,从语音中提炼出情感的本质特征,并搭建最合适的表征情感信息的网络结构。基于以上研究重点,本文内容包括以下几个部分:1.研究了基于传统声学特征的情感识别网络在大量的声学特征中,对现有数据做统计分析筛选出声学特征及其统计特征,搭建有效且完备的情感特征工程。从物理意义上出发,筛选合理的表达情感的特征并验证它们的有效性;从数学统计层面考虑,使用卡方检验做特征选择,去除特征集合的冗余信息,提高网络训练效率,构建完备的特征工程。2.研究了基于语谱图的深度学习情感识别网络语谱图几乎包含了所有的语音特征,二维频谱结构既可以体现谐波等激励源特征,又可以分析倒谱、共振峰等声道特性。深度神经网络引入非线性信息,具有自主学习输入数据特征的优点。搭建基于语谱图的深度学习情感识别网络,选用局部感知和跳跃连接的ResNet网络,并基于卷积核权重系数做出改进。再此基础上,搭建ResNet-LSTM网络,对ResNet网络学出的高层情感特征进行时序建模。3.引入了注意力机制,研究了低级描述符和高层语义信息的特征融合将经过验证的可以表征情感信息的声学特征集合作,与ResNet-LSTM网络学习到的语音信号的高层语义信息进行融合,将融合后的特征经过DN-N网络分类输出,增加深度学习的解释性和人工辅助。此外,引入注意力机制,探索语音中的关键帧信息。将学习到的注意力作为权重系数加入到人工提取的低级描述符特征中,并将它应用于特征融合实验。本文主要从情感的产生和感知层面出发,落实到特征和网络两个研究重点上展开工作,产生上探究如何构建具有情感表征意义的完备的特征集合,感知上从网络结构入手,尝试搭建具有情感认知的网络结构,并通过注意力机制讨论语音情感的局部关键性,结合产生、感知、和局部特性探讨语音情感的表达。
【图文】：

图２－２激励－效价－强度情感模型［１１逡逑第二种是由Ｐｌｕｔｃｈｉｋ提出的三维情感模型［９】，，将情感空间描绘成一个倒椎体，逡逑

图２－３三维情感模型［７］逡逑离散情感模型和维度情感模型是基于不用的情感属性出发而定义的
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TN912.34;TP18

【相似文献】

相关期刊论文 前10条

1 王蔚;胡婷婷;冯亚琴;;基于深度学习的自然与表演语音情感识别[J];南京大学学报(自然科学);2019年04期

2 陈婧;李海峰;马琳;陈肖;陈晓敏;;多粒度特征融合的维度语音情感识别方法[J];信号处理;2017年03期

3 李银河;李雪晖;徐楠;钟文雅;赵新仕;程晓燕;孙峰;袁键;;语音情感识别分类算法研究综述[J];南阳师范学院学报;2017年06期

4 何秉羲;;语音情感识别研究现状综述[J];办公自动化;2015年10期

5 赵力;黄程韦;;实用语音情感识别中的若干关键技术[J];数据采集与处理;2014年02期

6 张石清;李乐民;赵知劲;;人机交互中的语音情感识别研究进展[J];电路与系统学报;2013年02期

7 李杰;周萍;;语音情感识别中特征参数的研究进展[J];传感器与微系统;2012年02期

8 赵腊生;张强;魏小鹏;;语音情感识别研究进展[J];计算机应用研究;2009年02期

9 王茜;;一个语音情感识别系统的设计与实现[J];大众科技;2006年08期

10 陈建厦,李翠华;语音情感识别的研究进展[J];计算机工程;2005年13期

相关会议论文 前10条

1 罗武骏;包永强;赵力;;基于模糊支持向量机的语音情感识别方法[A];2012'中国西部声学学术交流会论文集(Ⅱ)[C];2012年

2 陈建厦;;语音情感识别综述[A];第一届中国情感计算及智能交互学术会议论文集[C];2003年

3 王青;谢波;陈根才;;基于神经网络的汉语语音情感识别[A];第一届中国情感计算及智能交互学术会议论文集[C];2003年

4 龚灵杰;袁家政;刘宏哲;;基于加权最近邻的语音情感识别方法[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年

5 宋鹏;郑文明;赵力;;基于子空间学习和特征选择融合的语音情感识别[A];第十四届全国人机语音通讯学术会议（NCMMSC’2017）论文集[C];2017年

6 张鼎天;徐明星;;基于调制频谱特征的自动语音情感识别[A];需将论文集名称修改为“第十二届全国人机语音通讯学术会议（NCMMSC2013）论文集[C];2013年

7 宋鹏;郑文明;赵力;;基于特征迁移学习方法的跨库语音情感识别[A];第十三届全国人机语音通讯学术会议(NCMMSC2015)论文集[C];2015年

8 刘博;范钰超;徐明星;;基于特征级决策级双层融合的语音情感识别[A];第十三届全国人机语音通讯学术会议(NCMMSC2015)论文集[C];2015年

9 杨桃香;杨鉴;毕福昆;;基于模糊聚类的语音情感识别[A];第三届和谐人机环境联合学术会议（HHME2007）论文集[C];2007年

10 张波;倪佳敏;楼颖祯;陈慧霖;张石清;;基于深度置信网络的语音情感识别研究[A];第十三届全国人机语音通讯学术会议(NCMMSC2015)论文集[C];2015年

相关博士学位论文 前10条

1 查诚;基于特征学习的语音情感识别算法研究[D];东南大学;2017年

2 徐新洲;基于情感特征信息增强的语音情感识别研究[D];东南大学;2017年

3 张卫;基于模糊认知图的语音情感识别关键问题研究[D];太原理工大学;2017年

4 谢波;普通话语音情感识别关键技术研究[D];浙江大学;2006年

5 尤鸣宇;语音情感识别的关键技术研究[D];浙江大学;2007年

6 陶华伟;基于谱图特征的语音情感识别若干问题的研究[D];东南大学;2017年

7 韩文静;语音情感识别关键技术研究[D];哈尔滨工业大学;2013年

8 刘佳;语音情感识别的研究与应用[D];浙江大学;2009年

9 孙亚新;语音情感识别中的特征提取与识别算法研究[D];华南理工大学;2015年

10 张昕然;跨库语音情感识别若干关键技术研究[D];东南大学;2016年

相关硕士学位论文 前10条

1 卢艳;基于神经网络与注意力机制结合的语音情感识别研究[D];北京邮电大学;2019年

2 李鹏程;基于深度学习的语音情感识别研究[D];中国科学技术大学;2019年

3 何伟;基于深度学习的语音情感识别建模研究[D];北京邮电大学;2019年

4 次仁罗增;藏语语音情感识别方法研究[D];西藏大学;2019年

5 沈凌洁;基于音韵表征的语音情感识别改进研究[D];南京师范大学;2018年

6 龚若愚;语音情感识别训练系统设计与实现[D];湖南大学;2014年

7 周晓晓;基于神经网络与多特征融合的维度语音情感识别研究[D];湖南大学;2018年

8 李晓琴;基于支持向量机的语音情感识别[D];哈尔滨理工大学;2018年

9 郑丽;语音情感识别及其在服务机器人中的应用研究[D];东北师范大学;2018年

10 郝梓岚;基于安卓的语音情感识别系统设计与实现[D];广西师范大学;2018年

本文编号：2645334