PAD情绪模型在情感语音识别中的应用研究

发布时间：2017-10-14 17:26

  本文关键词：PAD情绪模型在情感语音识别中的应用研究

  更多相关文章： 情感语音识别 情感语音数据库 PAD情绪模型 相关性分析 犹豫模糊信息

【摘要】：人类日常生活中的语音除了蕴含着基本的文字信息,还饱含着复杂的情感状态。本文以情感计算为背景,在构建一个自然、真实、有效的情感语音数据库的基础上,引入连续维度情感理论的PAD三维情绪模型,利用犹豫模糊信息对语音的三维PAD值进行了预测,实现了语音情感的定量化研究。所做的主要工作有以下几点:1.选择高兴、愤怒、悲伤、惊奇四种情感类别,采用截取广播剧的方式获取所需四种情感的摘引型语音数据库。相较于表演型情感语音数据库,该数据库由于是从广播剧中截取获得,因此情感类型丰富,人物多样,生活场景繁多,情感语音更加贴近现实生活,符合日常表达习惯,具有较好的实用性。2.为了确保情感语音数据库的质量,建立了合理有效的评价模型,对截取获得的初选阶段语音库进行了评价筛选:首先以模糊判决为主,借助层次分析法和熵权法确定综合评价指标的权重,建立基于层次分析法和熵权法的模糊综合评价体系,然后分别从情感准确度、背景噪声影响、清晰度、自然度、画面感五个方面建立情感语音数据库评价指标体系,最后运用该模型对截取的情感语音数据库进行模糊综合评价,筛选并建立了最终的情感语音数据库TYUT2.0。3.给出了情感语音特征与PAD三维情绪模型相关性研究的新思路。不仅从传统离散角度描述情感类型,即研究高兴、愤怒、悲伤、惊奇四种基本情感,还从连续维度情感理论角度来分析语音库中的情感内容,使用了心理学标注的PAD(愉悦度、激活度、优势度)三维情绪模型对情感语音进行描述,提出了一种情感语音特征与PAD情绪模型相关性分析方法。在TYUT2.0情感语音数据库的基础上,提取梅尔频率倒谱系数、线性预测系数、韵律特征、共振峰频率和过零峰值幅度特征五种语音特征并应用于情感语音识别,首次将识别结果映射到PAD三维情绪空间中,利用Pearson相关方法将机器识别出的情感所对应的PAD三个维度值与真实情感所对应的PAD值进行相关性计算,分析PAD模型中三个维度和不同声学特征之间的相关性。利用情感语音识别结果的相关性分析可以对语音特征进行优化调整,为接下来的基于连续维度的情感语音识别提供基础。4.提出了一种新的基于犹豫模糊信息的决策级融合方法。根据不同特征的识别结果,通过声学特征与PAD三个维度间的相关系数确定不同特征的决策级融合权重,最后利用犹豫模糊集的相似度融合预测了语音在PAD情绪空间模型中的三个维度值,得出情感语音在连续维度角度的数值表示,实现基于连续维度的情感语音识别。通过情感语音在愉悦度、激活度、优势度上的空间分布,进一步分析语音的情感状态由哪些基本情感构成,也可根据其空间分布为情感语音识别的误判原因提供研究基础。
【关键词】：情感语音识别 情感语音数据库 PAD情绪模型 相关性分析 犹豫模糊信息
【学位授予单位】：太原理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TN912.34
【目录】：

• 摘要3-5
• ABSTRACT5-10
• 第一章 绪论10-16
• 1.1 课题研究的背景及意义10-11
• 1.2 情感语音识别的国内外动态11-12
• 1.2.1 国外动态11-12
• 1.2.2 国内动态12
• 1.3 情感语音识别研究面临的问题12-13
• 1.4 完成的主要工作13-15
• 1.5 文章结构安排15-16
• 第二章 情感语音识别的基本理论16-30
• 2.1 语音的产生16
• 2.2 情感语音识别系统组成16-17
• 2.3 语音信号的预处理17-19
• 2.4 情感语音的特征提取19-24
• 2.4.1 基于谱的相关特征19-22
• 2.4.2 韵律学特征22-23
• 2.4.3 音质特征23-24
• 2.4.4 基于人耳听觉模型的特征-ZCPA24
• 2.5 情感语音识别算法24-28
• 2.5.1 人工神经网络25
• 2.5.2 隐马尔科夫模型25-26
• 2.5.3 高斯混合模型26-27
• 2.5.4 支持向量机27
• 2.5.5 模糊认知图27-28
• 2.6 本章小结28-30
• 第三章 TYUT2.0 情感语音数据库的建立30-44
• 3.1 情感的定义30
• 3.2 情感的表达方式30-31
• 3.3 情感的分类31-32
• 3.4 情感语音数据库综述32-34
• 3.4.1 情感语音数据库的分类32-33
• 3.4.2 经典情感语音数据库介绍33-34
• 3.5 TYUT2.0 情感语音数据库的建立34-42
• 3.5.1 初选阶段情感语音数据库的建立34-36
• 3.5.2 情感语音的模糊综合评价模型36-41
• 3.5.3 有效性验证实验41-42
• 3.6 本章小结42-44
• 第四章 语音特征与PAD三维空间的相关性分析44-58
• 4.1 原理框图44-45
• 4.2 PAD三维情绪模型45-46
• 4.3 极限学习机46-51
• 4.3.1 单隐层前馈神经网络46-48
• 4.3.2 基于核函数ELM的广义单隐层前馈神经网络模型48-50
• 4.3.3 人工蜂群算法优化核函数ELM参数50-51
• 4.4 情感语音识别中的应用51-52
• 4.5 相关性分析52-55
• 4.5.1 Pearson相关系数52
• 4.5.2 结果分析52-55
• 4.6 本章小结55-58
• 第五章 基于PAD情绪模型的情感语音识别58-66
• 5.1 基于PAD三维情绪模型的多特征融合58-59
• 5.2 相关性分析确定特征权值59-60
• 5.3 犹豫模糊信息融合PAD值60-64
• 5.3.1 犹豫模糊信息60-62
• 5.3.2 加权融合预测PAD值62-64
• 5.4 本章小结64-66
• 第六章 总结与展望66-68
• 6.1 总结66-67
• 6.2 下一步工作展望67-68
• 参考文献68-74
• 致谢74-76
• 攻读学位期间发表的学术论文目录76

【相似文献】

中国期刊全文数据库 前10条

1 郭远琼;提高语音识别率点滴[J];电脑技术;2000年03期

2 邢文;语音识别[J];个人电脑;2000年02期

3 ;语音识别的真相[J];个人电脑;2001年12期

4 ;语音识别渐入佳境[J];个人电脑;2002年03期

5 ;微软语音识别软件可与人直接对话[J];自动化博览;2003年04期

6 ;语音识别[J];印刷世界;2004年01期

7 杰里米·瓦格斯塔夫;让语音识别软件 解放你的双手[J];农业图书情报学刊;2004年03期

8 韩纪庆,王欢良,李海峰,郑铁然;基于语音识别的发音学习技术[J];电声技术;2004年09期

9 陈孝强;语音识别拟起新潮[J];微电脑世界;2005年07期

10 韩纪庆;张磊;郑铁然;;网络环境下的语音识别方法[J];计算机科学;2005年01期

中国重要会议论文全文数据库 前10条

1 张歆奕;吴今培;张其善;;语音的共性特征及其在语音识别中的应用[A];第十届全国信号处理学术年会（CCSP-2001）论文集[C];2001年

2 杜树木;何良华;;一种新的基于段长分布的语音识别模型[A];2009年通信理论与信号处理学术年会论文集[C];2009年

3 李桢;高万林;欧文浩;徐山川;;基于关键词语音识别的农业信息语音服务系统的研究与实现[A];中国农业工程学会电气信息与自动化专业委员会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会论文摘要[C];2010年

4 张冰;龙长才;罗海风;;熟悉掩蔽音背景下的目标语音识别[A];泛在信息社会中的声学——中国声学学会2010年全国会员代表大会暨学术会议论文集[C];2010年

5 王承发;赵德彬;金山;苗百利;朱志莹;;语音识别应用中抗噪声干扰方法的初步探讨[A];第二届全国人机语音通讯学术会议论文集[C];1992年

6 杜笑平;杨启纲;杨家沅;;过零周期转移概率矩阵语音识别部件的研制[A];第二届全国人机语音通讯学术会议论文集[C];1992年

7 季宏;刘志文;杜燕玲;黄曾阳;;语音识别中的音字转换[A];第三届全国人机语音通讯学术会议论文集[C];1994年

8 葛余博;杨大利;曾德超;;噪声环境下语音识别的几个问题(一)[A];第三届全国人机语音通讯学术会议论文集[C];1994年

9 朱奇峰;俞铁城;;听觉中的协同现象和其对语音识别影响的探讨[A];第四届全国人机语音通讯学术会议论文集[C];1996年

10 姚磊;黄泰翼;陈景东;;一种高鲁棒性语音识别的通用自适应方法研究[A];第四届全国人机语音通讯学术会议论文集[C];1996年

中国重要报纸全文数据库 前10条

1 黄梦;方案商积极切入语音识别市场[N];电脑商报;2006年

2 闫婷;语音识别 理想与现实的距离[N];计算机世界;2007年

3 刘喜喜;语音识别将把鼠标键盘打入冷宫？[N];中国计算机报;2008年

4 乐天;语音识别：让你的手机更聪明[N];计算机世界;2011年

5 特约作者 王佳彬;语音识别渐入佳境[N];电脑报;2002年

6 雨夏;语音识别重在应用[N];计算机世界;2001年

7 ;语音识别企业应用前景光明[N];计算机世界;2003年

8 王向东 栾焕博 林守勋 钱跃良;语音识别:抗噪音能力有待加强[N];计算机世界;2006年

9 上海 高博;让电脑“听懂”人话[N];电脑报;2008年

10 张彤;语音识别融入统一通信[N];网络世界;2008年

中国博士学位论文全文数据库 前10条

1 许金普;农产品市场信息采集的语音识别鲁棒性方法研究[D];中国农业科学院;2015年

2 吴斌;语音识别中的后处理技术研究[D];北京邮电大学;2008年

3 奉小慧;音频噪声环境下唇动信息在语音识别中的应用技术研究[D];华南理工大学;2010年

4 孙f，

本文编号：1032246