语音情感识别及在人机对话系统中的应用研究

发布时间：2023-08-20 09:40

　　随着人机交互的逐渐发展,语音作为快速、直接的交流方式,使机器理解语音交互过程中的情感变得更加迫切。由于语言差异、记录语音的环境不同、语音有效情感特征的不确定性和语音存在的噪音等导致富情感的语音特征缺乏有效的提取影响了语音情感识别的效率和有效性。基于机器学习的语音情感识别方法,只能提取特定的特征集作为模型的输入。基于深度学习的语音情感识别可以避免上述特征工程,并自动提取语音特征,但这些大量的语音特征会使模型的识别效率降低,富情感的语音特征得不到有效的提取。本文旨在对特定特征的提取和融合,并基于深度学习算法,研究具有较强泛化能力、高效的语音情感识别方法,并将语音情感识别应用于人机对话系统。在语音情感识别中,有效提取富情感的语音特征是情感识别成功的关键。本文提出互补特征提取方法,并对该方法的有效性进行验证。在语料库方面,语料库是验证方法可靠性的重要元素,本文基于两种常用语料库和一种较新的语料库进行模型的训练与验证。在情感识别算法方面,高效的分类模型算法决定了语音情感识别方法是否有效。本文结合三种语音情感识别语料库,完成特征提取后,将其作为深度学习识别模型的输入。深度学习模型采用了高效的卷积神...

【文章页数】：90 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究工作的背景与意义
    1.2 研究现状
        1.2.1 语音情感识别的研究现状
        1.2.2 人机对话的研究现状
        1.2.3 语音情感识别在人机对话系统中的应用
    1.3 本文研究内容
    1.4 本文组织结构
    1.5 本章小结
第二章 语音情感识别概述
    2.1 引言
    2.2 语音情感识别语料库
        2.2.1 人类语音情感数据库
        2.2.2 常用语音情感识别语料库
    2.3 语音情感特征
        2.3.1 频谱特征
        2.3.2 韵律特征
        2.3.3 非线性特征
        2.3.4 其他特征
    2.4 语音情感识别方法
    2.5 本章小结
第三章 特征提取方法研究
    3.1 引言
    3.2 快速傅里叶变换
    3.3 短时傅里叶变换
    3.4 特征提取
        3.4.1 MFCC特征
        3.4.2 Melspectrogram特征
        3.4.3 Chroma特征
        3.4.4 Tonal Centroid特征
        3.4.5 Spectral contrast特征
    3.5 互补特征
    3.6 本章小结
第四章 基于1D CNN的语音情感识别
    4.1 引言
    4.2 计算结果指标
    4.3 语音情感实验数据集
    4.4 语音情感识别架构
        4.4.1 架构相关介绍
        4.4.2 NACNN方法实验
        4.4.3 NACNN+LogMels方法实验
        4.4.4 NACNN+LogMels*方法实验
    4.5 实验总结
    4.6 本章小结
第五章 ECM人机对话
    5.1 引言
    5.2 任务定义及概览
    5.3 编码解码框架
        5.3.1 SeqToSeq模型
        5.3.2 Gated Recurrent Unit
    5.4 情感分类嵌入
    5.5 内外部记忆
    5.6 本章小结
第六章 语音情感识别在人机对话系统中的应用
    6.1 引言
    6.2 需求分析
        6.2.1 功能需求
        6.2.2 系统开发环境
    6.3 系统设计
    6.4 实现与展示
        6.4.1 功能展示
    6.5 本章小结
第七章 总结与展望
    7.1 论文总结
    7.2 工作展望
致谢
参考文献
攻硕期间取得的成果



本文编号：3842970