基于神经网络与多特征融合的维度语音情感识别研究
发布时间：2021-07-10 06:24
语音作为人类日常表达和沟通中一种主要交流方式,不仅包含了所要表达的内容信息,还蕴含了人类丰富的情感。这使得语音情感识别成为智能语音信息处理研究中最重要的方向之一。语音情感识别的目的是使计算机从人类发出的语音信号中获得人类的情感信息,让机器能理解人的感性思维,从而使计算机更智能。维度语音情感识别是语音情感研究的一个新兴方向,维度情感用精确的数值从连续的、多维的角度进行人类情感的描述,从而回避了离散情感标签模糊性和有限性的问题,具有强大的情感描述能力,可以更自然地体现现实中的情感。目前,已经有不少的研究者关注了维度语音情感识别研究,但有效的维度语音情感特征和情感识别算法仍有待提出,维度语音情感识别的性能也有待提升。本文基于现有的传统离散语音情感识别知识,先从维度离散化的语音着手,然后进一步过渡到维度语音情感识别,本论文的主要工作如下:本文提出一个基于不流利、非语言情感特征和双向长短期记忆递归神经网络模型的维度离散化情感识别系统。与传统语音情感识别中常用的情感特征相比,不流利、非语言的情感特征不仅是专门针对语音情感所提出的,而且在特征数量上具有明显的优势。并且,双向长短期记忆递归神经网络模型...
【文章来源】：湖南大学湖南省 211工程院校 985工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
图１．?１活跃度－效价情感空间??
情感特征、识别模型、性能评估四个模块。??２．１维度语音情感识别系统框架??维度语音情感识别与离散语音情感识别的基本框架大体一致，如图２．１所示，??以数据划分，包括训练阶段和测试阶段；以识别步骤划分，包括数据准备、情感??特征的提取、情感识别及性能评估四个模块。??ｉ????｜?■??！?！?丨；?调整模型参数?Ｉ?［?｜??；?＇Ｉ?｜?Ｉ?Ｉ?Ｉ???１提率?！論入?Ｉ????；??训练阶语音训练特征语音情感恃征情感识别?田?！?！??段：?数据集?—Ｔ＊?特征?ｆ?—训练模型?？训為结呆一Ｉ??｜?｜｜?｜?ＩＴ?Ｉ?Ｉ?｜??！?！?！?！＇?停止训练?！?｜?；???１提取ｉｉ?＋入丨丄?，??］?Ｉ???Ｉ??测试阶语音测试特佐Ｊ语音情感｜?ｉｔｋＥｊ情感识别｜?；?ＩＪ??段？？?数据集特征?测试模型??！?！?：?：?！！?！?????，；?，???数据准备?特征提取?情感识别?性能评估??图２．?１维度语音情感识别框架??现有研宄表明，维度语音情感识别主要有两种：维度离散化情感的分类识别??和维度情感的回归识别，如图２．２所示。维度语音情感识别发展初期，研宄者们??一方面为了简化维度语音情感识别，另一方面也为了利用现有离散情感识别的研??宄成果
２．２维度语音情感语料库??２．２．１维度情感标注??语音数据在生活中随处可见，电视、广播、电话中的音频数据在理论上都可??以作为语料库的来源，但是由于录音环境、数据隐私等的限制，研究实验中使用??的语料库往往以实验环境或其他特定环境下的录制为主。收集到语音数据后，则??需要对语音数据进行情感标记以便用于语音情感识别。离散情感语料库的标记工??作相对比较简单，标注的类别是有限的几个标签，一般由几个专业的情感标注者??进行人工标注。对于维度情感标签的标注，由于每一个数据样例都对应一个具体??的情感值，而非简单的分类，这不仅增加了标注者的工作量，而且使标注工作变??得更加枯燥。??ＦＥＥＬＴＲＡＣＥ工具［５３］是现在最常用的一种情感标注辅助工具。它可以协助观??察者来追踪情感内容，并检查语音的情感动态。为了将情感标注模型应用到该工??具中，通常会将情感模型展示在一个电脑屏幕上，观察者根据感知到的情感移动??
【参考文献】：
期刊论文
[1]基于局部特征优化的语音情感识别[J]. 隋小芸,朱廷劭,汪静莹. 中国科学院大学学报. 2017(04)
[2]基于语谱图和卷积神经网络的语音情感识别[J]. 田熙燕,徐君鹏,杜留锋. 河南科技学院学报(自然科学版). 2017(02)
[3]多粒度特征融合的维度语音情感识别方法[J]. 陈婧,李海峰,马琳,陈肖,陈晓敏. 信号处理. 2017(03)
[4]面向语音情感识别的Gabor分块局部二值模式特征[J]. 陶华伟,柳晶晶,梁瑞宇,查诚,张昕然,赵力. 信号处理. 2016(05)
[5]面向语音情感识别的语谱特征提取算法研究[J]. 唐闺臣,冯月芹,梁瑞宇,包永强,赵力. 计算机工程与应用. 2016(21)
[6]语音情感识别研究进展综述[J]. 韩文静,李海峰,阮华斌,马琳. 软件学报. 2014(01)
[7]考虑情感程度相对顺序的维度语音情感识别[J]. 韩文静,李海峰,马琳. 信号处理. 2011(11)
[8]基于基频的情感语音聚类的说话人识别方法[J]. 李冬冬,吴朝晖,杨莹春. 模式识别与人工智能. 2009(01)
[9]基于决策树的多特征语音情感识别[J]. 石瑛,胡学钢,方磊. 计算机技术与发展. 2009(01)
[10]支持向量机应用于语音情感识别的研究[J]. 张石清,赵知劲,戴育良,杨广映. 声学技术. 2008(01)
硕士论文
[1]基于倒谱距离特征和卷积神经网络的语音情感识别研究[D]. 张斌.合肥工业大学 2016
本文编号：3275373
【文章来源】：湖南大学湖南省 211工程院校 985工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
图１．?１活跃度－效价情感空间??
情感特征、识别模型、性能评估四个模块。??２．１维度语音情感识别系统框架??维度语音情感识别与离散语音情感识别的基本框架大体一致，如图２．１所示，??以数据划分，包括训练阶段和测试阶段；以识别步骤划分，包括数据准备、情感??特征的提取、情感识别及性能评估四个模块。??ｉ????｜?■??！?！?丨；?调整模型参数?Ｉ?［?｜??；?＇Ｉ?｜?Ｉ?Ｉ?Ｉ???１提率?！論入?Ｉ????；??训练阶语音训练特征语音情感恃征情感识别?田?！?！??段：?数据集?—Ｔ＊?特征?ｆ?—训练模型?？训為结呆一Ｉ??｜?｜｜?｜?ＩＴ?Ｉ?Ｉ?｜??！?！?！?！＇?停止训练?！?｜?；???１提取ｉｉ?＋入丨丄?，??］?Ｉ???Ｉ??测试阶语音测试特佐Ｊ语音情感｜?ｉｔｋＥｊ情感识别｜?；?ＩＪ??段？？?数据集特征?测试模型??！?！?：?：?！！?！?????，；?，???数据准备?特征提取?情感识别?性能评估??图２．?１维度语音情感识别框架??现有研宄表明，维度语音情感识别主要有两种：维度离散化情感的分类识别??和维度情感的回归识别，如图２．２所示。维度语音情感识别发展初期，研宄者们??一方面为了简化维度语音情感识别，另一方面也为了利用现有离散情感识别的研??宄成果
２．２维度语音情感语料库??２．２．１维度情感标注??语音数据在生活中随处可见，电视、广播、电话中的音频数据在理论上都可??以作为语料库的来源，但是由于录音环境、数据隐私等的限制，研究实验中使用??的语料库往往以实验环境或其他特定环境下的录制为主。收集到语音数据后，则??需要对语音数据进行情感标记以便用于语音情感识别。离散情感语料库的标记工??作相对比较简单，标注的类别是有限的几个标签，一般由几个专业的情感标注者??进行人工标注。对于维度情感标签的标注，由于每一个数据样例都对应一个具体??的情感值，而非简单的分类，这不仅增加了标注者的工作量，而且使标注工作变??得更加枯燥。??ＦＥＥＬＴＲＡＣＥ工具［５３］是现在最常用的一种情感标注辅助工具。它可以协助观??察者来追踪情感内容，并检查语音的情感动态。为了将情感标注模型应用到该工??具中，通常会将情感模型展示在一个电脑屏幕上，观察者根据感知到的情感移动??
【参考文献】：
期刊论文
[1]基于局部特征优化的语音情感识别[J]. 隋小芸,朱廷劭,汪静莹. 中国科学院大学学报. 2017(04)
[2]基于语谱图和卷积神经网络的语音情感识别[J]. 田熙燕,徐君鹏,杜留锋. 河南科技学院学报(自然科学版). 2017(02)
[3]多粒度特征融合的维度语音情感识别方法[J]. 陈婧,李海峰,马琳,陈肖,陈晓敏. 信号处理. 2017(03)
[4]面向语音情感识别的Gabor分块局部二值模式特征[J]. 陶华伟,柳晶晶,梁瑞宇,查诚,张昕然,赵力. 信号处理. 2016(05)
[5]面向语音情感识别的语谱特征提取算法研究[J]. 唐闺臣,冯月芹,梁瑞宇,包永强,赵力. 计算机工程与应用. 2016(21)
[6]语音情感识别研究进展综述[J]. 韩文静,李海峰,阮华斌,马琳. 软件学报. 2014(01)
[7]考虑情感程度相对顺序的维度语音情感识别[J]. 韩文静,李海峰,马琳. 信号处理. 2011(11)
[8]基于基频的情感语音聚类的说话人识别方法[J]. 李冬冬,吴朝晖,杨莹春. 模式识别与人工智能. 2009(01)
[9]基于决策树的多特征语音情感识别[J]. 石瑛,胡学钢,方磊. 计算机技术与发展. 2009(01)
[10]支持向量机应用于语音情感识别的研究[J]. 张石清,赵知劲,戴育良,杨广映. 声学技术. 2008(01)
硕士论文
[1]基于倒谱距离特征和卷积神经网络的语音情感识别研究[D]. 张斌.合肥工业大学 2016
本文编号：3275373
本文链接：https://www.wllwen.com/kejilunwen/wltx/3275373.html
