基于神经网络与注意力机制结合的语音情感识别研究

发布时间：2020-12-11 16:25

　　随着计算机行业的不断发展,人工智能走进人们的生活,通过语音实现人机交互正逐渐成为主流的人机交互方式,语音情感识别能够让机器感知人类的情绪,听懂人的情感,在心理健康状态监控,教育辅助,个性化内容推荐,客服质量监控方面都具有广泛应用前景,但目前语音情感识别系统的识别率较低不足以大规模商用,提高情感识别准确度是一个亟待解决的难题。语音情感识别一般的系统框架主要分为两部分:语音情感特征提取和情感分类,本文针对于分类器模型提出了三个创新点进行优化:1.针对传统LSTM模型将隐藏的变长向量统一编码成固定长度向量容易造成信息损失而且将每帧语音视为了具有相同的重要性,与实际情况不符的问题。本文提出了一种基于LSTM的自注意力机制模型,将情绪隐藏向量表示为情绪的帧级隐藏向量的加权平均值,其中帧级隐藏向量的权重由注意机制自动学习,使得模型能够提取出更具有情绪代表性的特征来区分不同语音情绪,提升情绪识别准确率。2.针对LSTM模型单一子空间的特征表示。在自注意力的基础上,本文还提出了多头的注意力机制模型去学习不同子空间位置的特征表示,使得模型能够在多个子空间捕捉到更全面的情绪特征,从而提高情绪识别的准确度。... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：75 页

【学位级别】：硕士

【部分图文】：

图１－２人类语音效果和情感之间最一般的对应关系??

在服务行业顾客的体验能够很好的反应在顾客的情绪里，如果将来语音情绪??识别的技术应用到服务行业，那管理者就能从客户的语音情绪中去检测某项服务??是否让顾客喜欢，同时能够检测工作人员的客服态度。应用如图１－３所示：??梅语音?为投湃?化解萏户淸?？寺工作热??自动筛?键供判?绪，提高客?清保证工作??Ｊ＇ｊＶＸ宋?选分类?刽依Ｂ?户满藏度态度??麵?｜录音丨丨投诉｜丨客户簡绪及１１窖服热磨度??’?Ｉ检测?Ｍ杻准Ｉ?Ｉ?时识别?（Ｉ?提醒??槿型?Ｉ?语宿情感识＾１?廳??判别数据ｊ?语音信号的声学特征?ｊ??图１－３服务行业语音情感识别应用??在娱乐行业里，近年来网络平台占据了大家大部分的时间，流量就是金钱，??将语音情绪识别与个性化推荐结合，能在感知到人们情绪的时刻做出相对应的个??性推荐，成为那个最懂你的平台软件，提高顾客和产品之间的黏性。??在健康行业里，抑郁症是个屡见不鲜的话题，随着社会高速发展，人们身上??的精神压力也越来越大，抑郁症的发病率持续上升，而抑郁症正是由于长期的情??绪低迷并且没有得到及时的缓解和救治导致，如果将语音情绪识别与手机手环等??相结合

，。??１．２．２语音情感识别研究现状??语音情感识别一般是由两个基本步骤组成，特征提取和分类，近年来很多学??者致力于这两方面的研究，取得了许多突破性的进展，在特征提取方面，人们从??语音中发现并提取了一组与情绪状态紧密相关的特征［１］，作者使用短时窗口滑动??的方式提取了一组６３７３个特征的特征集，Ｅｙｂｅｎ等人［２］提出了一个更加简洁而??有效的数据集叫做?Ｇｅｎｅｖａ?Ｍｉｎｉｍａ丨ｉｓｔｉｃ?Ａｃｏｕｓｔｉｃ?Ｐａｒａｍｅｔｅｒ?Ｓｅｔ?（ＧｅＭＡＰＳ），这个??数据集是由６２个特征组成，并且后续扩展了?ＧｅＭＡＰＳ数据集包含８８个特征作??为基准可以用来验证后续的研究，在论文中这８８个特征主要和传统静态机器学??习相结合，比如ＳＶＭ，能够在语音情感识别中有不错的表现，除此之外还有一些??常见的语音特征，比如：基于共振峰的特征、基于能量的特征，还有一些经过谱??变换的特征，基于统计学的特征Ｔｅｇｅａｒ－Ｅｎｅｒｇｙ－Ｏｐｅｒａｔｏｒ等，语音经过谱变换后??得到语音谱图如图１－４所示。总体上来说近些年有许许多多的特征被提出用于语??音情绪识别，但同时另一个方面，分类器上的优化也是近年来的一个研究热点。??

【参考文献】：
期刊论文
[1]基于卷积神经网络的语音情感识别方法[J]. 邵兵,杜鹏飞.  科技创新导报. 2016(06)
[2]语音情感识别研究进展综述[J]. 韩文静,李海峰,阮华斌,马琳.  软件学报. 2014(01)



本文编号：2910849