基于深度学习的语音情感特征提取及处理算法研究

发布时间：2020-12-25 22:05

　　语言中包含了丰富的情感信息,在过去几十年中,语音情感识别的相关研究取得了巨大的进步。近年来,深度学习在各个领域都取得了巨大成功。与传统特征相比,深度学习特征具有更多的内在信息,然而如何合理的设计相关算法以及模型结构仍需要探索和研究,本文研究了基于深度学习的语音情感特征提取及处理算法,主要内容如下:1.主要介绍了语音情感识别的相关研究意义和背景,国内外研究现状以及存在的问题,并详细介绍了本文的主要工作以及组织结构。2.主要研究了语音情感识别的系统流程,从情感描述模型、语音情感数据库、情感特征提取和情感分类器四个部分分别进行了研究。3.提出了一种基于卷积神经网络（CNN）特征表征的语音情感识别模型。该卷积模型以LeNet-5模型为基础,增加了一层卷积层和池化层,并将二维卷积核改为一维卷积核,将一维特征预处理后,输送进该卷积网络模型中,对特征变换表征,最后利用SoftMax分类器实现情感分类。在公开数据库上的识别结果验证了网络模型的有效性。4.单一网络模型对特征的学习效果有限,为了提高模型对情感特征的学习能力,提出了一种基于卷积神经网络和简单递归单元（SRU）的串行网络模型。首先提取分段的三... 

【文章来源】：河南工业大学河南省

【文章页数】：65 页

【学位级别】：硕士

【部分图文】：

神经网络每个神经元的工作方式

河南工业大学硕士学位论文25每个卷积核都连接到上部特征图的局部区域。卷积层可以由多个特征图组成。每个特征图xjl可以表示为式(4.6)：xjl=f(∑xil1i∈Mjωijl+bjl)xjl通过对上层的所有特征图卷积后来激活。f()为激活函数，通常为sigmoid和tanh。ωijl和bjl分别为权重和偏差值。池化层主要对特征进行采样，减少模型的参数。每个输出的特征图可以表示为式(4.7)、式(4.8)：xjl=f(ujl)ujl=down(xjl1)down()表示下采样算法，以一定的采样大小计算上层的特征图xjl1。例如，尺寸为2×2或4×4。图7CNN模块网络结构4.2.2SRU网络框架递归神经网络(RecurrentNeuralNetwork,RNN)是处理自然语言任务最基本的网络模型，也是处理时态数据的首选网络。标准RNN模型包括长短期记忆(LSTM)[66]和门控递归单元(GRU)[67]。SRU模型[68]作为RNN的一个变种，拥有着更快的运行速度。SRU的内部结构如图8所示，其中f(xt)为输入特征，ct为输出状态，ct可以表示为式(4.11)，

河南工业大学硕士学位论文274.3算法整体流程本实验使用的语音情感识别系统模型如图10所示，首先，从从数据集中提取3-D谱图特征(原始谱图、一阶导数、二阶导数)，以获得更多的细节参数，一定程度上解决了语料中训练数据不足的情况；由于不同的语音信号的时间不同，为了在减少模型在训练过程中情感细节的流失，我们将每一个语音特征在时间轴上分割为相同大小的片段特征作为输入，由于较少的语音数据很难直接训练出一个健壮的卷积网络模型，本章的CNN模型采用AlexNet框架初始化，在训练的过程中对参数进行微调。然后使用CNN模型对这些特征进行学习，在学习过程中使用二维卷积。与一维卷积相比，二维卷积包含更多参数以捕获谱图特征中更详细的时频相关性。由于这些分段的特征是基于时间相关的，所以我们使用SRU模型对这些特征进行整合。最后，使用SoftMax分类器对情感进行分类。图10基于CNN和SRU的串行网络模型系统流程4.4实验设置4.4.1数据库本章实验使用公开的CASIA和Emo-db情感数据库，Emo-db情感数据库是德语情感语音数据库，由十位表演者(5女5男)对十个语句进行七种情感的表演，七种情感分别为生气(anger)、高兴(joy)，害怕(fear)，悲伤(sadness)，厌恶(disgust)，无聊(boredom)和中性(nertral)，共535句语料，采样率为16kHz，16bit量化，录制过程中要求演员在

【参考文献】：
期刊论文
[1]语音情感识别研究进展综述[J]. 韩文静,李海峰,阮华斌,马琳.  软件学报. 2014(01)

博士论文
[1]基于谱图特征的语音情感识别若干问题的研究[D]. 陶华伟.东南大学 2017
[2]基于语音信号的情感识别研究[D]. 金学成.中国科学技术大学 2007



本文编号：2938469