面向语音情感识别的深度学习算法研究

发布时间：2020-09-29 19:16

　　众所周知,语音是人机交互最自然和最理想的方式之一。目前,人机交互中机器虽已实现与人类进行交流的基本需求,但往往忽略了语音中承载的丰富的情感信息,还远无法像人与人交流那般自然和友好。未来,提升人机交互的体验需要语音情感识别的辅助。近年来,深度学习已经在各个领域中都取得了巨大的成功,本文主要研究了基于深度学习的语音情感识别,并提出了若干改进算法用于改善语音情感识别。本文主要工作和创新点如下:(1)学习了语音情感识别的研究背景和意义,并从语音情感领域的四大问题:语音情感描述模型、语音情感数据库、语音情感特征、语音情感识别算法入手总结了相关的研究历史和现状。(2)介绍了在语音情感识别领域的特征处理工作,包括语音信号的预处理;关键特征的提取,如短时能量、短时过零率、共振峰、梅尔倒谱系数等;介绍了语音情感特征参数的全局统计特性的提取;最后介绍了常用的特征降维算法,并详述了本文实验使用的主分成分析算法,对特征进行“白化”和降维,为后续实验提供数据支持。(3)介绍了模式识别、机器学习以及它们之间的联系,并详细研究了在语音情感识别领域常使用的机器学习算法,包括K近邻准则、softmax回归、支持向量机、稀疏表示、神经网络,为后续提出的算法提供算法对比支持。研究了深度学习在特征学习上的优势和一些主流的深度学习结构,为后续章节提供理论支持。(4)提出了一种改进的栈式自编码结构用于语音情感识别,该结构既利用了降噪自编码器的鲁棒性,也利用了稀疏自编码器稀疏性。该结构主要包括2层,第一层使用降噪自编码学习一个比输入特征维数大的隐藏特征;为提高算法性能,第二层采用稀疏自编码从大量神经元中学习稀疏性特征,并基于得到的特征进行训练学习,最终将特征输入分类器中,进行分类识别。算法首先采用逐层预训练的方法,达到网络参数全面初始化的目的,然后通过反向传播算法对整个网络进行微调,从而生成用于识别的栈式自编码网络。实验显示,相较于单独使用栈式降噪或稀疏自编码,该结构具有更好的识别效果。此外,基于CASIA子库的对比实验显示,该结构远远优于K近邻算法,识别率提高了53.7%,与稀疏表示方法相比提高了29.8%,比传统支持向量机提高14.28%,比人工神经网络提高1.9%。在自行录制语音库中该结构的识别率比人工神经网络提高了1.64%。(5)提出了一种融合注意力机制的循环神经网络结构,该结构能结合循环神经网络在学习时序数据方面的优势以及注意力机制可以学习特征权重的特点,使用简单的手工特征就能学习到更优的深度加权特征。该结构主要包含4层网络,第一层使用双向循环神经网络学习输入的时间依赖关系;第二层使用单向循环神经网络对特征进行再一次的学习,得到深度特征;第三层使用注意力机制层学习特征的权重,并对特征进行加权融合,使学习到的特征更具表征能力;第四层使用全连层网络对加权后的特征进行学习,并将学习后的特征送入到分类器中进行分类。在CASIA_A库的实验表明,该结构的平均识别率最优达到88.19%,识别率比仅使用RNNs结构高出4%~5%,并且该结构明显提高了高兴和愤怒这两种情感的识别率。在CASIA_B库中的实验表明,该结构最优识别率达到89.21%,比他人提出的使用深度自编码结构在平均识别率上提高了5.71%,在不同情感类别上的识别率也均有提高。
【学位单位】：东南大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TN912.34;TP181
【文章目录】：
摘要
Abstract
缩略词表
第一章绪论
    1.1 研究背景与意义
    1.2 研究历史与现状
        1.2.1 语音情感描述模型
        1.2.2 语音情感数据库
        1.2.3 语音情感特征
        1.2.4 语音情感识别算法
    1.3 本文的主要工作以及章节结构
第二章语音情感特征参数的分析与提取
    2.1 语音信号的预处理
        2.1.1 预加重
        2.1.2 分帧加窗
    2.2 语音情感信号特征参数提取
        2.2.1 短时能量及其衍生参数
        2.2.2 基音频率及其衍生参数
        2.2.3 共振峰及其衍生参数
        2.2.4 短时过零率
        2.2.5 梅尔倒谱系数
    2.3 特征参数的统计特性分析
    2.4 特征预处理和降维
    2.5 本章小节
第三章机器学习及深度学习基本方法
    3.1 模式识别与机器学习
    3.2 几种常用的机器学习算法
        3.2.1 K近邻
        3.2.2 softmax回归
        3.2.3 支持向量机
        3.2.4 稀疏表示
        3.2.5 人工神经网络
    3.3 深度学习
        3.3.1 DNNs
        3.3.2 CNNs
        3.3.3 RNNs
        3.3.4 SAEs
        3.3.5 GANs
    3.4 本章小结
第四章基于改进的StackedAuto-Encoders的语音情感识别
    4.1 改进栈式自编码神经网络
        4.1.1 栈式自编码原理
        4.1.2 改进的栈式自编码结构
        4.1.3 算法整体流程
    4.2 实验设置
    4.3 实验
        4.3.1 基本分类器识别率的比较
        4.3.2 不同隐藏层数的神经网络的比较
        4.3.3 不同类型自编码器的比较
        4.3.4 实验结果分析
    4.4 本章小结
第五章基于Attention-RNNs的语音情感识别
    5.1 RNNs基本原理
        5.1.1 RNNs
        5.1.2 LSTM
        5.1.3 GRU
    5.2 注意力机制与语音情感识别
        5.2.1 Attention
        5.2.2 Attention与语音情感
    5.3 Attention-RNNs模型
    5.4 实验设置
        5.4.1 数据库
        5.4.2 样本预处理
        5.4.3 实验策略设置
    5.5 CASIA_A实验分析
        5.5.1 平均识别率分析
        5.5.2 识别率和误差曲线
        5.5.3 不同情感识别率分析
        5.5.4 混淆矩阵分析
        5.5.5 模型特征学习有效性分析
    5.6 CASIA_B实验分析
        5.6.1 平均识别率对比
        5.6.2 不同情感识别率对比
    5.7 本章小节
第六章总结与展望
    6.1 论文工作总结
    6.2 研究方向展望
致谢
参考文献
攻读硕士学位期间发表的论文

【参考文献】