基于深度学习的文本语音耦合情感识别方法研究

发布时间：2017-09-14 12:36

  本文关键词：基于深度学习的文本语音耦合情感识别方法研究

  更多相关文章： 双模态 情感识别 人机交互 自然语言处理 深度学习

【摘要】：人机交互领域研究是目前智能技术应用研究的重要方向之一,自然语言理解是人机交互的重要完成途径,其中情感识别技术对于实现自然人机交互起到至关重要。同时随着多交叉学科以及计算机科学相应的模式识别技术共同发展,情感识别研究任务,作为人工智能中的一个重要领域在理论研究和实际应用上都获得了较大的发展。在人机交互过程中,基于面部表情的情感识别研究中主要面临的问题为信号采集以及信息处理,这种方法对硬件设备的有着较高要求。语音的获取以及对话内容可以通过同种路径获取,文本信息属于语音承载内容,两者在处理上具有同一性,因此基于语音信号情感识别方法与基于文本信号处理方法可以归类实现,在此研究背景下,考虑单独处理语言和文本上的局限性,本文将结合语言和文本两种模态进行情感识别任务。本文的主要研究内容和工作有：1.语音情感数据库的整理工作,本文将移动客服通话数据作为实验数据,对语音数据进行情感标记处理以及文本识别处理,并对整通话按句子切分处理,从而完成对语音数据库进行整合工作。2.基于文本的情感识别研究。本文采用多种统计方法以及语义层特征提取方法对文本内容进行特征提取,同时考虑了短文本在情绪表达时的特点,并结合文本形态不同,从保存信息完整性角度出发,尽可能的提取文本中所表达的情感信息。3.语音情感识别的研究工作。根据语音情感表达特征,在特征层面,将对语音信号进行两种不同的特征提取(基于韵律学的情感特征和基于普的情感特征提取)。4.基于深度学习的双模态特征,搭建深度架构,融合两模态特征进行模型训练,利用不同信息融合方法对两种信息进行耦合,通过设计对比实验,验证本论文所提出方法的可行性。
【关键词】：双模态 情感识别 人机交互 自然语言处理 深度学习
【学位授予单位】：合肥工业大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.1;TN912.3
【目录】：

• 致谢7-8
• 摘要8-9
• ABSTRACT9-15
• 第一章 绪论15-19
• 1.1 课题研究背景和意义15-16
• 1.2 交互过程中的情感计算16-17
• 1.3 国内外研究现状17-18
• 1.4 论文的章节安排18-19
• 第二章 语音情感识别19-24
• 2.1 语音情感库19-20
• 2.2 语音数据预处理20-21
• 2.3 语音情感特征21-22
• 2.4 语音情感模型训练方法22-24
• 第三章 文本情感识别24-34
• 3.1 文本倾向性判断24-25
• 3.2 文本特征提取25-28
• 3.2.1 基于文本内容特征提取方法26-27
• 3.2.2 基于外部知识库特征提取方法27-28
• 3.3 文本情感识别研究工作28-34
• 3.3.1 情感词典构建28-29
• 3.3.2 微博文本特征提取29
• 3.3.3 文本数据分析29-30
• 3.3.4 文本数据结果识别分析30-34
• 第四章 深度模型架构34-39
• 4.1 RBM和ClassRBM35-37
• 4.2 DBN架构37-39
• 第五章 双模态情感识别系统研究39-59
• 5.1 双模态情感识别系统的组成结构39-40
• 5.2 文本语音数据库准备工作40-42
• 5.3 双模态特征提取42-52
• 5.3.1 语音模态特征提取42-50
• 5.3.2 文本模态特征提取50-52
• 5.4 双模态特征模型训练52-59
• 5.4.1 文本模态情感识别实验53-56
• 5.4.2 语音模态情感识别实验56
• 5.4.3 文本语音耦合情感识别实验56-59
• 第六章 总结与展望59-62
• 6.1 总结59-60
• 6.2 不足之处与展望60-62
• 参考文献62-66
• 攻读硕士学位期间的学术活动及成果情况66-67

【相似文献】

中国期刊全文数据库 前10条

1 熊勰;刘光远;温万惠;;基于智能算法的生理信号情感识别[J];计算机科学;2011年03期

2 程静;刘光远;;学科交叉视角下的情感识别研究进展[J];计算机科学;2012年05期

3 张金伟;刘晓平;;基于心理预警模型的微博情感识别研究[J];合肥工业大学学报(自然科学版);2013年11期

4 王蓓;王晓兰;;基于表情和语音的多模态情感识别研究[J];信息化研究;2014年01期

5 温万惠;邱玉辉;刘光远;程南璞;黄希庭;;情感生理反应样本库的建立与数据相关性分析[J];中国科学:信息科学;2011年01期

6 温万惠;刘光远;熊勰;;基于生理信号的二分类情感识别系统特征选择模型和泛化性能分析[J];计算机科学;2011年05期

7 刘智;杨宗凯;刘三(女牙);铁璐;;一种基于样本空间动态划分的中文情感识别方法[J];计算机应用研究;2013年05期

8 陈曾;刘光远;;脑电信号在情感识别中的应用[J];计算机工程;2010年09期

9 张颖,罗森林;情感建模与情感识别[J];计算机工程与应用;2003年33期

10 林时来;刘光远;张慧玲;;蚁群算法在呼吸信号情感识别中的应用研究[J];计算机工程与应用;2011年02期

中国重要会议论文全文数据库 前9条

1 解迎刚;王志良;程宁;王国江;永井正武;;人脸与眼部检测及其在情感识别中的应用[A];第25届中国控制会议论文集（下册）[C];2006年

2 解迎刚;王志良;杨溢;邵彦娟;;基于改进蚁群算法的多模态情感识别研究[A];2011年中国智能自动化学术会议论文集（第一分册）[C];2011年

3 王志强;熊子东;傅向华;;基于螺旋模型的歌曲情感识别算法研究[A];第七届和谐人机环境联合学术会议（HHME2011)论文集【oral】[C];2011年

4 鲍军荣;李文锋;寿小云;嵇来春;;基于客观化脉搏振动觉的恐惧情感识别研究[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年

5 杨广映;杨善晓;;基于表面肌电信号的情感识别研究[A];第三届中国智能计算大会论文集[C];2009年

6 张伟;谢湘;;基于HMM的音乐情感识别研究[A];第九届全国人机语音通讯学术会议论文集[C];2007年

7 戴明洋;杨大利;徐明星;张永超;陈胜;;面向真实情感识别的训练语音选择研究[A];第十一届全国人机语音通讯学术会议论文集（一）[C];2011年

8 黄力行;辛乐;赵礼悦;陶建华;;自适应权重的双模态情感识别[A];第九届全国人机语音通讯学术会议论文集[C];2007年

9 崔玉路;蒋冬梅;张晓静;谢磊;付中华;Ping Fan;Hichem Sahli;;基于三特征流DBN模型的听视觉情感识别[A];第十一届全国人机语音通讯学术会议论文集（一）[C];2011年

中国重要报纸全文数据库 前2条

1 记者　邰举;韩开发出脑电波情感识别技术[N];科技日报;2007年

2 黄力行邋陶建华;多模态情感识别参透人心[N];计算机世界;2007年

中国博士学位论文全文数据库 前3条

1 林奕琳;基于语音信号的情感识别研究[D];华南理工大学;2006年

2 朱亚忱;基于特权信息的情感识别[D];中国科学技术大学;2015年

3 张石清;基于语音和人脸的情感识别研究[D];电子科技大学;2012年

中国硕士学位论文全文数据库 前10条

1 杨敏;非线性特征用于心电信号的情感识别[D];西南大学;2013年

2 刘俸汝;基于皮肤电情感识别的情感调节策略研究[D];西南大学;2013年

3 荀立晨;基于心电信号的情感识别研究[D];天津理工大学;2013年

4 聂聃;基于脑电的情感识别[D];上海交通大学;2012年

5 马亮军;基于语音的模糊案例推理情感识别算法研究[D];华东理工大学;2013年

6 刘碧英;非线性特征组合用于皮肤电情感识别的研究[D];西南大学;2013年

7 徐亚;基于心电信号的情感识别研究[D];西南大学;2010年

8 王彬;基于呼吸信号的情感识别研究[D];西南大学;2010年

9 周钰婷;皮肤电信号的情感特征提取及分类识别研究[D];西南大学;2012年

10 曹军;基于量子粒子群算法的心电信号情感状态识别研究[D];西南大学;2012年

，

本文编号：850068