汉语语音信号驱动虚拟人的研究

发布时间：2017-09-30 16:23

  本文关键词：汉语语音信号驱动虚拟人的研究

  更多相关文章： 虚拟现实 语音驱动 语音识别 虚拟人聊天系统 人脸动画

【摘要】：随着虚拟现实技术的发展,对三维虚拟人的研究成为虚拟现实领域的热点。在电视动画和计算机游戏中,逼真的模型给人以良好的视觉效果。近些年来,越来越多的学者对虚拟人的建模以及虚拟人的驱动方式的研究表现出极大的兴趣,并分别提出了自己的方法。三维虚拟人驱动方法的研究不仅减少了开发商的投资,而且让用户有更大的选择范围,所以,它的商业价值与实用价值都是不可估量的。由于语音与口型有明显的映射关系,可以通过这种映射关系实现语音信号对虚拟人口型动画的驱动。而语音与虚拟人的动作之间则没有直接的对应关系,很难通过语音信号直接驱动虚拟人动作。虽然目前研究者们已经提出了许多方法,实现了对虚拟人的驱动,但是方法的复杂度较高,有必要对其进行进一步改进。针对上述问题,本文提出一种基于汉语语音识别的方法驱动虚拟人,该方法通过语音识别,可以分别驱动虚拟人的肢体动作与面部动画。首先,建立语音识别模块,将语音信号转化为文本信息；其次,将语音识别模块加入到虚拟人聊天系统中,实现语音信号对虚拟人动作的驱动和聊天系统的控制；接着将语音识别模块加到三维人脸口型动画的系统中,实现语音信号对虚拟人口型动画以及表情细节的驱动,并通过TTS技术,得到与输入语音同步的三维人脸动画。本文使用微软语音开发包,首先通过构建语音识别类,从而建立语音识别模块,完成语音信号到文本信息的转换,接着将语音识别模块分别添加到虚拟人聊天系统和三维虚拟人脸动画的系统中,实现了汉语语音信号对虚拟人动作和面部动画的驱动。最后,实验结果表明该方法简单实用,识别的准确率也能被用户所接受。
【关键词】：虚拟现实 语音驱动 语音识别 虚拟人聊天系统 人脸动画
【学位授予单位】：西南交通大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TN912.3
【目录】：

• 摘要6-7
• Abstract7-11
• 第1章 绪论11-19
• 1.1 研究背景及意义11-12
• 1.2 国内外研究现状12-15
• 1.2.1 人体建模与动作合成的研究现状12-13
• 1.2.2 人脸动画与驱动的研究现状13-15
• 1.3 研究目标及内容15-16
• 1.3.1 研究目标15
• 1.3.2 研究内容15-16
• 1.4 本研究的总体框架设计16-18
• 1.5 本文结构安排18-19
• 第2章 语音信号处理及特征参数的提取19-27
• 2.1 语音信号预处理19-21
• 2.2 特征参数分析21-22
• 2.2.1 时域分析21-22
• 2.2.2 频域分析22
• 2.3 特征参数提取22-26
• 2.4 本章小结26-27
• 第3章 语音驱动虚拟人动作及人脸动画的实现27-39
• 3.1 语音识别介绍27
• 3.2 语音识别类的建立27-29
• 3.3 语音识别模块的建立29-31
• 3.4 虚拟人模型的建立31-32
• 3.5 虚拟人动作的合成32-34
• 3.5.1 BVH文件介绍33
• 3.5.2 虚拟人动作合成33-34
• 3.6 语音驱动聊天系统34-35
• 3.6.1 系统的建立34
• 3.6.2 语音驱动聊天系统的实现34-35
• 3.7 语音驱动虚拟人人脸动画35-38
• 3.7.1 虚拟人脸部模型36
• 3.7.2 语音驱动虚拟人脸动画的实现36-38
• 3.8 本章小结38-39
• 第4章 实验结果分析39-48
• 4.1 实验环境39
• 4.2 实验结果39-45
• 4.2.1 虚拟人聊天系统39-41
• 4.2.2 虚拟人唇部动画与表情控制41-45
• 4.3 结果分析45-47
• 4.3.1 主观分析45-46
• 4.3.2 客观评价46-47
• 4.4 本章小结47-48
• 结论48-49
• 致谢49-51
• 参考文献51-56
• 攻读硕士学位期间发表的论文及科研成果56

【相似文献】

中国期刊全文数据库 前10条

1 ;交叉学科专家着手制造“虚拟人”[J];甘肃科技纵横;2002年05期

2 ;科学家用虚拟人进行糖尿病研究[J];系统仿真学报;2003年03期

3 赵新培;;中国首位虚拟人终于面世[J];石油工业计算机应用;2003年02期

4 罗冠,郝重阳,张雯,樊养余;虚拟人技术研究综述[J];计算机工程;2005年18期

5 刘箴;潘志庚;;虚拟人动机驱动的自主情绪模型研究[J];中国图象图形学报;2009年05期

6 卞玉龙;刘箴;;一种虚拟人追逐过程中的情绪博弈模型[J];智能系统学报;2012年04期

7 耿钦涛;刘箴;;基于情绪驱动的虚拟人行走模型研究[J];系统仿真学报;2013年10期

8 晓军;虚拟人的诞生[J];百科知识;2005年19期

9 莫文;张川;;美丽“虚拟人”[J];现代健康人;2005年09期

10 成舸;;虚拟人的第一步[J];新知客;2009年02期

中国重要会议论文全文数据库 前10条

1 刘箴;;虚拟人社会性非言语情绪交互研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

2 张番;陈颖;冯秀娟;温文彪;常士楠;孙红三;;智能化虚拟人操作行为仿真分析及实现[A];二○○一年中国系统仿真学会学术年会论文集[C];2001年

3 赵江;冯秀娟;孙红三;温文彪;郑国磊;;虚拟人对目标物手捕获的实现[A];2003年全国系统仿真学术年会论文集[C];2003年

4 何雪微;龚光红;;虚拟人运动的动力学实现方法研究[A];2003年全国系统仿真学术年会论文集[C];2003年

5 卢晓军;李焱;贺汉根;;虚拟人行走规划仿真的研究与实现[A];全国第13届计算机辅助设计与图形学（CAD/CG）学术会议论文集[C];2004年

6 刘箴;;虚拟人的行为规划模型研究[A];全国第16届计算机科学与技术应用（CACIS）学术会议论文集[C];2004年

7 周小建;向楠;朱思语;潘志庚;;基于视觉的虚拟人情感交互系统[A];第七届和谐人机环境联合学术会议（HHME2011)论文集【poster】[C];2011年

8 邹沐昌;代玉仁;韩春颖;;虚拟人的体育运动实体仿真的研究与实现[A];中国图象图形学会第十届全国图像图形学术会议（CIG’2001）和第一届全国虚拟现实技术研讨会（CVR’2001）论文集[C];2001年

9 胡维华;钱克宠;;娱乐型跑步机上三维场景与多角色虚拟人的融合设计[A];中国计算机图形学进展2008--第七届中国计算机图形学大会论文集[C];2008年

10 杨长水;高文;王兆其;陈益强;;个性化虚拟人体模型驱动方法[A];第一届中国情感计算及智能交互学术会议论文集[C];2003年

中国重要报纸全文数据库 前10条

1 程乐华 （作者为中山大学心理系教授）;长尾虚拟人：聚合人类时间和精力的长尾[N];第一财经日报;2007年

2 ;走近虚拟人[N];大众科技报;2003年

3 记者 翁淑贤;“中国虚拟人男1号”问世[N];人民日报;2005年

4 赵何娟;程乐华：SNS将带来新一轮社会变革[N];第一财经日报;2007年

5 腾 月;虚拟人何时为人类做替身[N];大众科技报;2004年

6 奇 云;中国虚拟人男Ⅰ号“有血有肉”[N];大众科技报;2005年

7 明江;虚拟人离我们有多远[N];中国商报;2003年

8 本报记者 项铮;从切片到虚拟人[N];科技日报;2002年

9 孔德芳;揭开虚拟人的真实身份[N];科技日报;2004年

10 ;“中国虚拟人女1号”面世[N];人民日报;2003年

中国博士学位论文全文数据库 前10条

1 邱世广;维修动作混合仿真及人机工效自动评估方法研究[D];上海交通大学;2014年

2 倪慧;自主虚拟人关键技术的研究[D];天津大学;2007年

3 李石磊;数据和模型混合驱动的虚拟人运动生成与控制技术研究[D];国防科学技术大学;2009年

4 叶绿;虚拟教育环境中虚拟人（角色）技术的研究与应用[D];浙江大学;2005年

5 罗冠;虚拟人的运动生成及控制技术研究[D];西北工业大学;2004年

6 李小宁;虚拟人微观仿真与宏观交互关键技术研究[D];中国海洋大学;2013年

7 卢晓军;维修仿真中虚拟人动作建模与行为控制技术研究[D];国防科学技术大学;2006年

8 任利锋;虚拟环境中的虚拟人技术研究[D];浙江大学;2008年

9 索宁;基于运动捕捉的虚拟人关键技术研究[D];中国矿业大学（北京）;2011年

10 向南;智能虚拟环境中虚拟人情感仿真研究[D];浙江大学;2012年

中国硕士学位论文全文数据库 前10条

1 文占朝;基于流演算的智能虚拟人的研究与实现[D];江苏大学;2009年

2 甘凌云;基于模型分解的虚拟人骨架提取及其动画研究[D];西南交通大学;2015年

3 费婷婷;基于深度数据的虚拟人重建与蒙皮动画算法[D];安徽大学;2016年

4 杨宇盟;虚拟人避障运动规划与装配操作动作库研究[D];华中科技大学;2014年

5 崔丽君;面向大型活动的观众群体行为编排与仿真方法研究[D];北京理工大学;2016年

6 吴晓升;虚拟地铁环境下的人群仿真[D];西南交通大学;2016年

7 曹宁哲;完整虚拟人头部建模及面部表情合成研究[D];西南交通大学;2016年

8 李克豹;汉语语音信号驱动虚拟人的研究[D];西南交通大学;2015年

9 林本敬;情感虚拟人技术在人机交互中的应用研究[D];北京化工大学;2009年

10 伍国永;姿态可变辐射虚拟人建模研究[D];合肥工业大学;2011年

，

本文编号：949232