基于Kinect的手势识别技术及其在教学中的应用

发布时间：2017-04-08 11:15

  本文关键词：基于Kinect的手势识别技术及其在教学中的应用，由笔耕文化传播整理发布。

【摘要】：随着计算机技术的发展，人机交互也经过了命令行界面、图形用户界面，到自然用户界面（NUI）的发展过程。自然用户界面即用户以自然的方式与计算机进行交流如语音、触控、手势等。其中手势是一种自然而直观的人际交流模式.基于视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术。Kinect作为一个革命性的产品，正在提供一项全新的人机交互的方式[1]，使人机互动的理念更加彻底的展现出来。它能够捕捉、跟踪以及解密人体的动作，手势以及声音，而其在教学中的应用以体感教学为主。本文通过利用Kinect进行静态手势识别，和单手、双手动态手势识别，以提供无接触式互动交互。并在此基础上结合其他元素实现可应用于教学的自然用户界面。 本论文的工作主要有一下几个方面。首先有定义一套简单易用的NUI接口，其目标是使其更好的用于体感教学。其次利用Kinect提供的深度信息提取出手部，并利用边界追踪算法进行指尖定位，从而实现静态手势识别。利用在语音识别上广泛应用的隐马尔可夫模型(HMM)进行动态手势识别，并在此基础上提出运用耦合隐马尔可夫模型进行动态手势识别，，从而可以同时识别单手以及双手动态手势。在已有的基础上实现手势识别软件，并将其应用到教学之中。 本文的工作在动态手势识别相关研究中有所创新，具有重要应用创新价值。同时对相关算法的研究也具有一定学术价值。本论文的工作也为后续的研究开发工作打下了良好的基础。
【关键词】：自然用户界面 Kinect 手势识别
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP391.41;G434
【目录】：

• 摘要5-6
• ABSTRACT6-14
• 第一章 绪论14-24
• 1.1 自然用户界面与体感教室14-16
• 1.1.1 自然用户界面概述14-15
• 1.1.2 体感教室15-16
• 1.2 Kinect 体感技术简介16-18
• 1.2.1 Kinect 结构16-17
• 1.2.2 Kincet 关键技术17-18
• 1.2.3 Kinect 不足之处18
• 1.3 研究背景与现状18-21
• 1.3.1 手势识别技术18-19
• 1.3.2 语音识别技术19-20
• 1.3.3 增强现实20-21
• 1.4 论文的研究内容21-22
• 1.5 论文的主要成果22
• 1.6 论文的结构22-23
• 1.7 本章小结23-24
• 第二章 手势识别方法概述24-33
• 2.1 手势识别概述24-28
• 2.1.1 基于触摸屏的手势识别24-25
• 2.1.2 基于数据手套的手势识别25-27
• 2.1.3 基于视觉的手势识别27-28
• 2.2 静态手势识别28-30
• 2.2.1 模板匹配28
• 2.2.2 基于手指检测28-29
• 2.2.3 基于指尖检测29-30
• 2.3 动态手势识别30-32
• 2.3.1 基于模板的方法31
• 2.3.2 基于语法的方法31-32
• 2.3.3 基于统计的方法32
• 2.4 本章小结32-33
• 第三章 基于 KINECT 的静态手势识别方法与实验33-39
• 3.1 KINECT 骨骼识别原理33-34
• 3.2 静态手势识别34-38
• 3.2.1 手势分割34-36
• 3.2.2 运用 Border-Following 算法识别图像轮廓36-37
• 3.2.3 运用 K-curvature 算法辨别指尖37
• 3.2.4 K-curvature 算法 K 参数的实验与分析37-38
• 3.3 本章小结38-39
• 第四章 基于 KINECT 的动态手势识别方法与实验39-61
• 4.1 动态手势识别的预处理39-51
• 4.1.1 手势分割39
• 4.1.2 手势检测一般方法39-42
• 4.1.3 手势检测具体实现42-45
• 4.1.4 特征提取45-47
• 4.1.5 滤波47-48
• 4.1.6 时间序列的优化48-49
• 4.1.7 掌、拳分类器实验与分析49-51
• 4.2 基于隐马尔可夫模型的手势识别51-56
• 4.2.1 隐马尔可夫的基本概念51-52
• 4.2.2 隐马尔可夫的基本问题52-54
• 4.2.3 隐马尔可夫的基本算法54-56
• 4.3 基于耦合隐马尔可夫的双手动态手势识别56-59
• 4.3.1 耦合隐马尔可夫的基本概念56-57
• 4.3.2 耦合隐马尔可夫的实现57-59
• 4.3.3 双手三维手势实现的具体流程59
• 4.4 本章小结59-61
• 第五章 手势识别软件的具体实现及其在教学中的应用61-72
• 5.1 手势识别软件开发环境与架构61-62
• 5.1.1 软件硬件开发环境61
• 5.1.2 软件主要架构61-62
• 5.2 手势识别软件的实现62-68
• 5.2.1 基于指尖的静态手势识别的实现62-66
• 5.2.2 动态手势识别的实现66-68
• 5.3 手势识别软件在教学中的应用68-71
• 5.3.1 基本手势的定义69-70
• 5.3.2 幻灯片基本控制功能70-71
• 5.3.3 鼠标功能71
• 5.3.4 其它应用的操作与标记功能71
• 5.4 本章小结71-72
• 第六章 总结与展望72-74
• 6.1 总结72
• 6.2 改进以及展望72-74
• 参考文献74-78
• 致谢78-79
• 附录 179-82
• 攻读硕士学位期间已发表或录用的论文及参与的项目82

【参考文献】

中国期刊全文数据库 前10条

1 孙敏,陈秀万,张飞舟,郑宏伟;增强现实地理信息系统[J];北京大学学报(自然科学版);2004年06期

2 张艳丽;;界面的发展趋势探究[J];今传媒;2011年07期

3 常勇,何宗宜;户外增强现实技术及其在地下管网3维可视化中的应用[J];测绘通报;2005年11期

4 任海兵,祝远新,徐光

本文编号：292745