语音手语合成系统研究与开发

发布时间：2017-04-26 14:13

  本文关键词：语音手语合成系统研究与开发，由笔耕文化传播整理发布。

【摘要】：聋哑人作为社会的弱势群体,在生活、学习、娱乐方面由于受到沟通语言的限制,可使用的资源非常少。手语作为聋哑人之间沟通、交流的主要语言,需要得到更加规范化的推广。随着社会信息化的发展,建立一个健全人与聋哑人之间的沟通桥梁,变成一个极为迫切的需求。本文即在这样的大背景下产生。 本文主要做了以下几方面的工作： 语音识别方法的研究,包括对传统算法的研究,已有语音识别引擎SDK的研究,最终选用SDK的方式,实现系统的语音识别功能。 中文语义分析的实现。本文使用中科院的HHMM模型,并对其词典存储方式做了改进,实现了系统的语义分析功能。 虚拟人建模的实现。本文分析了人体运动的基本情况,对关节的运动约束做出了总结,通过学习不同的虚拟人建模方法,例如H-ANIM标准、建模软件等等,最终建立了系统所需的虚拟人模型。 虚拟人运动控制,本文分析了不同的虚拟人运动控制方法。学习并改进了基于HAL链的实时逆向运动学求解算法,解决了肘圆问题。并对虚拟人运动中的手语连音问题做了一定处理,使虚拟人的手势表达与实际更相符合。提出了一套新的虚拟人手部动画的演绎方式,并根据关节自由度的不同情况使用了不同的插值方法,使用本文提及的方式控制虚拟人,不需要存储大量虚拟人运动的片段,更加灵活。 在本文最后,对基于上述方法的系统做出了实现,并且从多个方面对系统的性能做出了评估。本系统在实用性方面来讲,是首个将中文语音与手语合成相联系的系统,将健全人与聋哑人的沟通变为可能,增加了可供聋哑人使用的社会资源,在创新性方面来讲,本文具有很强的灵活性,虚拟人的运动完全由程序控制,只需要插入词根的关键帧,将程序员从大量繁琐的姿势数据中解放,同时虚拟人手势合成过程中,本文对连音现象进行了处理,使得手势更加逼真。本文无论在实际上还是在理论上,都有很重要的意义。
【关键词】：语音识别 语义分析 虚拟人建模 动画控制 手语合成
【学位授予单位】：西南交通大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TN912.3;G762.2;G434
【目录】：

• 摘要6-7
• Abstract7-11
• 第一章 绪论11-15
• 1.1 课题背景11
• 1.2 课题意义11-12
• 1.3 国内外现状12-14
• 1.4 本文主要研究内容14-15
• 第二章 聋校教育现状分析及系统设计15-24
• 2.1 引言15
• 2.2 聋校教育现状15
• 2.3 聋童教育的困境15-16
• 2.4 理论基础16-19
• 2.5 系统实施方案19-22
• 2.5.1 确定聋校混合教育的目标19
• 2.5.2 聋校混合学习设计方案19-22
• 2.5.2.1 分析聋儿特征19-20
• 2.5.2.2 学习内容和学习目标分析20
• 2.5.2.3 学习活动设计20-21
• 2.5.2.4 学习支持的设计21
• 2.5.2.5 学习评价的设计21-22
• 2.5.3 演示系统设计22
• 2.6 本章小结22-24
• 第三章 语音处理模块设计与实现24-32
• 3.1 语音识别基本原理24
• 3.2 语音识别的方法24-25
• 3.2.1 传统算法24-25
• 3.2.2 语音识别SDK25
• 3.3 Microsoft Speech SAPI介绍25-27
• 3.3.1 语音识别API26-27
• 3.4 语音识别模块27-28
• 3.4.1 设计与实现27-28
• 3.5 分词模块28-31
• 3.5.1 中文分词存在的难题28-29
• 3.5.2 分词算法29-31
• 3.5.2.1 基于HHMM的汉语词法分析框架29-30
• 3.5.2.2 准确率分析30-31
• 3.6 本章小结31-32
• 第四章 手语码转换与虚拟人建模32-45
• 4.1 系统研究手语定义32
• 4.2 汉语手势语的表示32-33
• 4.3 模块流程设计33
• 4.4 人体骨骼模型层次33-34
• 4.5 人体运动分析34-39
• 4.5.1 关节的解剖学原理34
• 4.5.2 关节运动分析34-37
• 4.5.3 关节运动约束37-39
• 4.5.4 上肢关节层次化39
• 4.6 手势库设计39-42
• 4.7 虚拟人建模方法42-43
• 4.8 本章小结43-45
• 第五章 虚拟人运动控制45-64
• 5.1 虚拟人运动控制办法45
• 5.2 关键帧选取策略45-46
• 5.3 关键帧编辑46-51
• 5.3.1 手指关键帧编辑46
• 5.3.2 手臂关键帧编辑46-49
• 5.3.3 手语连音现象及处理方案49-51
• 5.3.3.1 手形相似度计算49-50
• 5.3.3.2 手形关键帧修改50-51
• 5.4 虚拟人动画51-52
• 5.4.1 XNA动画引擎51-52
• 5.4.1.1 XNA基本介绍51
• 5.4.1.2 XNA工作机制51-52
• 5.4.1.3 XNA中的内容管道52
• 5.5 基于骨骼蒙皮的虚拟人动画52-63
• 5.5.1 3D模型动画基本原理及分类52-53
• 5.5.2 骨骼蒙皮动画原理解析53-54
• 5.5.3 骨骼蒙皮动画中的结构部件54-55
• 5.5.3.1 骨骼和骨骼层次结构54
• 5.5.3.2 蒙皮信息和蒙皮过程54-55
• 5.5.3.4 动画数据和播放动画55
• 5.5.4 基于XNA的骨骼蒙皮动画55-63
• 5.5.4.1 动画模型的导入56-57
• 5.5.4.2 骨骼动画运动公式57-59
• 5.5.4.3 骨骼动画旋转公式59-61
• 5.5.4.4 关键帧插值方法61-63
• 5.6 本章小结63-64
• 第六章 系统实现与结果分析64-71
• 6.1 基于语音识别的虚拟人手语合成的演示系统的设计64-65
• 6.2 基于语音识别的虚拟人手语合成的演示系统的实现65-68
• 6.3 结果分析68-70
• 6.3.1 系统存储容量68
• 6.3.2 运行准确性及速度68-69
• 6.3.3 系统的可重用性69
• 6.3.4 系统的易操作性与可用性69-70
• 6.4 本章小结70-71
• 结论71-73
• 致谢73-74
• 参考文献74-77
• 攻读硕士学位期间发表的论文77

【参考文献】

中国期刊全文数据库 前10条

1 李璐;;语音识别的拼音学习中发音识别和评分模块的系统设计[J];黑龙江科技信息;2010年01期

2 刘群,张华平,俞鸿魁,程学旗;基于层叠隐马模型的汉语词法分析[J];计算机研究与发展;2004年08期

3 刘涛 ,孙守迁 ,潘云鹤;面向艺术与设计的虚拟人技术研究[J];计算机辅助设计与图形学学报;2004年11期

4 陈剑峰;陆伟;安然;;面向互动电视的关键技术探讨[J];计算机应用与软件;2011年06期

5 孙细斌;邱继伟;;音控MP3播放器的设计与实现[J];科技广场;2010年05期

6 邓莎;张振宇;;语音识别技术分析及展望[J];现代计算机;2007年04期

7 高青琳;;双语教学在聋儿康复教育中运用的可行性论证[J];现代特殊教育;2001年09期

8 杨长水,王兆其,高文;基于WEB的手语新闻虚拟主持人的研究与实现[J];系统仿真学报;2001年S2期

9 王行仁;建模与仿真技术的若干问题探讨[J];系统仿真学报;2004年09期

10 杨开城;;学生模型与学习活动的设计[J];中国电化教育;2002年12期

中国硕士学位论文全文数据库 前6条

1 周传刚;HMM模型在高噪声环境下的语音识别应用研究[D];中北大学;2006年

2 师晨曦;基于句型库的语音识别研究[D];大连理工大学;2006年

3 李宁;面向互动式游戏引擎的语音识别算法应用研究[D];大连理工大学;2008年

4 李晶晶;高校师生虚实结合交往模式的建构与应用研究[D];西南大学;2009年

5 张寒晖;虚拟人步行运动模拟与三维场景中路径规划的研究与实现[D];厦门大学;2009年

6 付诗;基于HMM/ANN混合模型的语音识别系统研究[D];长春理工大学;2009年

  本文关键词：语音手语合成系统研究与开发，由笔耕文化传播整理发布。

，

本文编号：328601