基于Kinect的手语识别技术在聋哑教学中的应用研究

发布时间：2017-07-04 14:12

  本文关键词：基于Kinect的手语识别技术在聋哑教学中的应用研究

  更多相关文章： 手语识别 动态特征提取 聋哑手语 Kinect HMM SVM/HMM SVM

【摘要】：手语是聋哑人与其他人沟通的主要工具,应用手语识别技术使计算机能够理解并翻译读取的手语,帮助聋哑人与健全人沟通更加方便快捷。并且,随着体感技术的发展,使计算机更加容易理解人们动作,为手语识别技术的研究提供了新的方法与途径。由于传统的输入设备不能很好的满足人们对人机交互的要求。因此研究手语识别技术,不仅使聋哑人更加容易与健全人进行交流,同时有助于人机交互技术的发展。 本课题以聋哑学校教学需求为背景,在对传统的手语识别方法进行了深入研究的基础上,基于Kinect体感摄像机,对手语的特征提取方法和识别算法进行了改进,并实现了手语识别系统。本系统包含动态手语识别和静态手语识别部分,其中,动态手语识别包含手掌运动的手语识别和手指运动的手语识别。通过手语识别系统将手语进行翻译,并用人们理解的词语表达出来,提供聋哑学生与不懂手语的健全人沟通的途径,获得更多的学习资源,从而提高聋哑学生的教学质量。同时为改进教师与电脑的交互方式等研究奠定了很好的基础。 本文首先介绍了手语识别的背景和意义,并阐述了国内外的研究现状。接下来介绍了常用的特征提取和手语识别算法及与本文相关的技术和平台,同时阐释了将手语识别系统应用于聋哑儿童教育的理论支持。然后对手部特征提取和检测方法做了详细的描述。在动态手语的特征提取部分,针对Kinect独有的特点提出了手掌运动二次特征提取、手指运动变化深度直方图的方法。在静态手语特征提取部分,使用了手部的的Freeman链码,并对其进行了归一化和旋转不变性的处理。针对动态手语的手掌运动识别,提出了双层HMM模型,针对动态手语中手指运动的识别提出了改进的SVM/HMM模型,静态手语的识别使用了SVM算法。最后,将以上方法进行验证,同时给出了系统的设计和编码实现。
【关键词】：手语识别 动态特征提取 聋哑手语 Kinect HMM SVM/HMM SVM
【学位授予单位】：西南交通大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP391.41;G762
【目录】：

• 摘要6-7
• Abstract7-10
• 第1章 绪论10-13
• 1.1 课题研究的意义10-11
• 1.2 国内外研究现状11-12
• 1.3 研究内容和组织结构12-13
• 第2章 相关技术与开发平台13-21
• 2.1 常用手语特征提取13-15
• 2.2 手语识别常用算法15-16
• 2.3 KINECT体感设备16-18
• 2.4 OPENNI与OPENCV18-20
• 2.4.1 OpenNI简介18-19
• 2.4.2 OpenCV简介19-20
• 2.5 本章小结20-21
• 第3章 相关理论基础21-26
• 3.1 罗森塔尔效应21-22
• 3.1.1 理论概述21
• 3.1.2 对系统的理论支持21-22
• 3.2 社会学习理论22-23
• 3.2.1 理论概述22-23
• 3.2.2 对系统的理论支持23
• 3.3 学习金字塔理论23-24
• 3.3.1 理论概述23-24
• 3.3.2 对系统的理论支持24
• 3.4 人本主义学习理论24-25
• 3.4.1 理论概述24-25
• 3.4.2 对系统的理论支持25
• 3.5 本章小结25-26
• 第4章 手部跟踪及特征提取研究26-36
• 4.1 手语识别系统架构26-27
• 4.2 手部检测与追踪27
• 4.3 手部特征提取27-35
• 4.3.1 手掌运动特征提取27-29
• 4.3.2 手指运动特征提取29-32
• 4.3.3 静态手语特征提取32-35
• 4.4 本章小结35-36
• 第5章 基于HMM和SVM模型的手语识别36-46
• 5.1 HMM模型36-38
• 5.1.1 HMM基本原理36-37
• 5.1.2 HMM基本问题37-38
• 5.2 SVM模型38-40
• 5.2.1 SVM基本原理38-39
• 5.2.2 最优分类面39
• 5.2.3 SVM核函数39-40
• 5.3 基于HMM的手掌动态手语识别40-43
• 5.4 基于SVM/HMM的手指动态手语识别43-45
• 5.5 基于SVM的静态手语识别45
• 5.6 本章小结45-46
• 第6章 手语识别系统的设计与实现46-57
• 6.1 系统硬件及软件环境46-47
• 6.1.1 硬件环境46-47
• 6.1.2 软件环境47
• 6.2 手部检测与追踪47-49
• 6.3 手语特征提取的实现49-51
• 6.3.1 手掌运动特征提取49
• 6.3.2 手指运动特征提取49-50
• 6.3.3 静态手语特征提取50-51
• 6.4 手语识别的实现及运行效果51-56
• 6.4.1 手掌动态手语识别52-53
• 6.4.2 手指动态手语识别53-54
• 6.4.3 静态手语识别54-56
• 6.5 本章小结56-57
• 结论和展望57-59
• 致谢59-60
• 参考文献60-63
• 攻读硕士学位期间发表的论文63

【参考文献】

中国期刊全文数据库 前7条

1 张亚新,原魁,杜清秀,邹伟;一种用于手语识别的中国手语分类方法[J];北京科技大学学报;2001年03期

2 甄素娟;;浅谈聋哑儿童的人格行为特点与特殊教育[J];大连教育学院学报;2011年01期

3 王志瑞;闫彩良;;图像特征提取方法的综述[J];吉首大学学报(自然科学版);2011年05期

4 杨健;汪海航;;基于隐马尔可夫模型的文本分类算法[J];计算机应用;2010年09期

5 周志峰;;一种正六边形检测方法的研究[J];应用光学;2012年01期

6 陈少毅,兰继军;手语研究与聋人康复和聋校教学[J];中国特殊教育;2003年05期

7 杨宝燕;;浅谈聋哑儿童学习动机存在的问题、原因及对策[J];新课程(中旬);2011年11期

中国博士学位论文全文数据库 前1条

1 戴金波;基于视觉信息的图像特征提取算法研究[D];吉林大学;2013年

中国硕士学位论文全文数据库 前1条

1 张中甫;基于深度信息的手势识别研究及应用[D];浙江大学;2013年

，

本文编号：518085