中文语音情感识别方法研究

发布时间：2020-04-09 16:55

【摘要】：语音信号是人类传递信息表达情感的主要途径之一,其对人机交互技术研究的重要性可见一斑。现阶段将语音信号转换为文本信息输出的语音识别技术已非常成熟,其商业应用已得到普及,例如科大讯飞智能语音输入法。然而,语音情感识别的研究一直还没有有效应用。随着虚拟现实技术与增强现实技术的迅速发展,传统的人机交互已经不能满足人们日益增长的对更自然、更便捷人机交互的迫切需求。将语音情感识别与虚拟环境交互技术相结合不仅体现了语音情感的实用性,同样提升了虚拟环境交互的便捷性和自然性。本文根据中文语音信号与其他语种语音信号的区别,对中文语音情感识别方法展开研究,对语音情感识别相关算法进行测试,并对其训练识别模型进行改进;在虚拟环境中通过设计肢体动作将语音情感状态可视化反馈,以完成基于中文语音情感识别的虚拟环境自然交互系统应用。本文主要研究内容如下:1.研究了中文语音情感特征并验证其情感描述性。针对中文语音信号特点,使用MFCC特征、ZCR特征、短时能量特征对CASIA数据库中的语料进行情感描述,利用支持向量机SVM进行识别分类,并使用开放的中文语音情感数据库,验证该特征对情感状态描述的有效性与可行性。2.研究了基于深度学习的中文语音情感识别方法,提出了融合全局特征与局部特征的卷积-长短时记忆神经网络(ConvLSTM)的语音情感识别模型。首先,采用一维卷积神经网络对情感特征集进行特征训练学习,将学习后的特征输入到Softmax分类器中,对语音信号中所包含的情感状态进行识别;其次,采用长短时记忆神经网络对前文情感特征进行特征学习,将学习后的特征输入到Softmax中识别语音情感状态输出识别结果;最后,对比分析实验结果,提出融合全局特征与局部特征的ConvLSTM学习网络,将该网络训练学习到的语音情感特征,输入到Softmax分类器中,识别语音情感状态并输出识别结果;通过对比分析证明ConvLSTM模型具备一定的有效性。3.设计搭建基于中文语音情感识别的虚拟环境交互系统。借助肢体动作实现虚拟环境中语音情感的可视化,并通过设计自主虚拟人实现虚拟化身情感交互动作的反馈,完成基于语音情感识别的虚拟环境交互系统的测试,验证了本文模型的有效性与可行性。
【图文】：

图 5.5 语音情感识别系统主要场景环境2. 语音情感识别模型训练本文的语音情感识别模型是基于 tensorflow 平台搭建的深度学习模型，采用中文语音情感数据 CASIA 中的数据，进行训练数据与测试数据的划分，将其中的训练数据与测试数据进行 5：1 的比例进行数据划分；然后输入到前文所搭建模型中进行模型训练，并输出最优模型；最后将模型与 Python 解释器一起封装为动态链接库，通过 Unity 引擎调用，与虚拟化身模型相连接，使 Autar 具有识别语音情绪状态的能力。3. 语音情感识别动作定义为了将情绪状态可视化，凸显情绪的表达，使虚拟人物的表达更加自然流畅，本文根据自然状态下情感表述的肢体动作对虚拟人物的动作进行设计。根据观察，，当人在高兴的说话时，通常伴随着手舞足蹈等丰富的肢体动作；悲伤的说话时，

无激励状态
【学位授予单位】：重庆邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TN912.34;TP18

【相似文献】

相关期刊论文 前10条

1 王蔚;胡婷婷;冯亚琴;;基于深度学习的自然与表演语音情感识别[J];南京大学学报(自然科学);2019年04期

2 曹欣怡;李鹤;王蔚;;基于语料库的语音情感识别的性别差异研究[J];南京大学学报(自然科学);2019年05期

3 陈婧;李海峰;马琳;陈肖;陈晓敏;;多粒度特征融合的维度语音情感识别方法[J];信号处理;2017年03期

4 李银河;李雪晖;徐楠;钟文雅;赵新仕;程晓燕;孙峰;袁键;;语音情感识别分类算法研究综述[J];南阳师范学院学报;2017年06期

5 何秉羲;;语音情感识别研究现状综述[J];办公自动化;2015年10期

6 赵力;黄程韦;;实用语音情感识别中的若干关键技术[J];数据采集与处理;2014年02期

7 张石清;李乐民;赵知劲;;人机交互中的语音情感识别研究进展[J];电路与系统学报;2013年02期

8 李杰;周萍;;语音情感识别中特征参数的研究进展[J];传感器与微系统;2012年02期

9 赵腊生;张强;魏小鹏;;语音情感识别研究进展[J];计算机应用研究;2009年02期

10 王茜;;一个语音情感识别系统的设计与实现[J];大众科技;2006年08期

相关会议论文 前10条

1 罗武骏;包永强;赵力;;基于模糊支持向量机的语音情感识别方法[A];2012'中国西部声学学术交流会论文集(Ⅱ)[C];2012年

2 陈建厦;;语音情感识别综述[A];第一届中国情感计算及智能交互学术会议论文集[C];2003年

3 王青;谢波;陈根才;;基于神经网络的汉语语音情感识别[A];第一届中国情感计算及智能交互学术会议论文集[C];2003年

4 龚灵杰;袁家政;刘宏哲;;基于加权最近邻的语音情感识别方法[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年

5 宋鹏;郑文明;赵力;;基于子空间学习和特征选择融合的语音情感识别[A];第十四届全国人机语音通讯学术会议（NCMMSC’2017）论文集[C];2017年

6 张鼎天;徐明星;;基于调制频谱特征的自动语音情感识别[A];需将论文集名称修改为“第十二届全国人机语音通讯学术会议（NCMMSC2013）论文集[C];2013年

7 李玉卿;徐成;;基于听觉注意力模型与BiLSTM和CNN的智能语音分析技术的应用[A];中国计算机用户协会网络应用分会2019年第二十三届网络新技术与应用年会论文集[C];2019年

8 宋鹏;郑文明;赵力;;基于特征迁移学习方法的跨库语音情感识别[A];第十三届全国人机语音通讯学术会议(NCMMSC2015)论文集[C];2015年

9 刘博;范钰超;徐明星;;基于特征级决策级双层融合的语音情感识别[A];第十三届全国人机语音通讯学术会议(NCMMSC2015)论文集[C];2015年

10 杨桃香;杨鉴;毕福昆;;基于模糊聚类的语音情感识别[A];第三届和谐人机环境联合学术会议（HHME2007）论文集[C];2007年

相关博士学位论文 前10条

1 查诚;基于特征学习的语音情感识别算法研究[D];东南大学;2017年

2 徐新洲;基于情感特征信息增强的语音情感识别研究[D];东南大学;2017年

3 张卫;基于模糊认知图的语音情感识别关键问题研究[D];太原理工大学;2017年

4 谢波;普通话语音情感识别关键技术研究[D];浙江大学;2006年

5 尤鸣宇;语音情感识别的关键技术研究[D];浙江大学;2007年

6 陶华伟;基于谱图特征的语音情感识别若干问题的研究[D];东南大学;2017年

7 韩文静;语音情感识别关键技术研究[D];哈尔滨工业大学;2013年

8 刘佳;语音情感识别的研究与应用[D];浙江大学;2009年

9 孙亚新;语音情感识别中的特征提取与识别算法研究[D];华南理工大学;2015年

10 张昕然;跨库语音情感识别若干关键技术研究[D];东南大学;2016年

相关硕士学位论文 前10条

1 尚雨琪;基于语音情感识别的客服作业情绪分析与控制[D];西安科技大学;2019年

2 梁宗林;基于深度学习的语音情感识别算法研究[D];长春理工大学;2019年

3 郑御;基于深度时空表征的语音情感识别研究[D];天津师范大学;2019年

4 张若凡;老年人语音情感识别系统设计与实现[D];重庆邮电大学;2018年

5 王金华;基于IAM的深度学习语音情感识别算法研究[D];杭州电子科技大学;2019年

6 陈富丽;中文语音情感识别方法研究[D];重庆邮电大学;2019年

7 卢艳;基于神经网络与注意力机制结合的语音情感识别研究[D];北京邮电大学;2019年

8 李鹏程;基于深度学习的语音情感识别研究[D];中国科学技术大学;2019年

9 何伟;基于深度学习的语音情感识别建模研究[D];北京邮电大学;2019年

10 次仁罗增;藏语语音情感识别方法研究[D];西藏大学;2019年

本文编号：2621018