基于Leap Motion的手势交互在虚拟场景中的研究

发布时间：2017-10-26 20:09

  本文关键词：基于Leap Motion的手势交互在虚拟场景中的研究

  更多相关文章： 手势交互 Leap Motion 手势分割 指尖轨迹识别 虚拟场景

【摘要】：伴随着信息技术的深入发展,计算机已经进入到人类的日常生活,无论是工作还是学习,都需要频繁的和计算机进行交互。传统的人机交互如键盘输入屏幕输出等方式都是以计算机为中心进行演变和发展,它需要人去适应计算机。近年来,先后又出现了笔式、触摸、语音、视频等交互类型,这些变化说明人在人机交互中开始逐步占领中心位置。手势是人类使用频繁的交流方式之一,直观且便于表达。微软创始人比尔·盖茨说过： “人类自然形成的与自然界沟通的认知习惯必定是人机交互的发展方向”,而本文研究的基于Leap Motion的虚拟场景中的手势交互,即使用自然手势来和计算机“对话”。借助计算机视觉和图像处理等技术,手势交互能够实现自然手势采集、特征向量提取、人手建模、手势含义识别以及用户需求响应等。本文首先简要介绍了基于自然手势的人机交互的研究背景和意义,并阐述了手势识别技术在国内外的研究现状以及Leap Motion相关技术原理和软件系统。然后在研究手势交互系统的一般结构的基础上,基于数据结构中队列先进先出的思想,提出了使用滑动帧来更新背景模板的背景差分法,并改进了YCbCr颜色空间模型,以及实现了基于改进的背景差分法和YCbCr颜色空间的手势分割方法。实验表明,比起传统的方法,本文方法的分割效果更好,鲁棒性更高；基于模板匹配的思想,提出了基于Leap Motion的指尖手势轨迹识别方法,利用Leap Motion获取指尖在三维空间中的坐标,通过提取指尖轨迹,和模板进行匹配,识别出手势。本文方法对光线变化不敏感,采集了300组样本数据进行实验,结果表明本文方法对近距离范围内的动态指尖手势的识别率高达95%以上。最后将本文研究成果应用在手势交互演示系统里面,实现了基于Leap Motion的手势交互系统,并且可以使用自然手势和虚拟场景中的物品进行交互。本文的研究目标是将本文的的理论成果应用在虚拟场景中的手势交互演示系统里面。本文的研究价值主要在于减少用户对计算机鼠标或者键盘的依赖,改善虚拟场景中人机交互的体验,推动手势交互的发展。
【关键词】：手势交互 Leap Motion 手势分割 指尖轨迹识别 虚拟场景
【学位授予单位】：西南交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.41
【目录】：

• 摘要6-7
• Abstract7-11
• 第1章 绪论11-18
• 1.1 课题研究背景和意义11-12
• 1.2 虚拟现实技术12-13
• 1.3 手势13-14
• 1.3.1 手势定义13
• 1.3.2 手势建模13
• 1.3.3 手势动作分类13-14
• 1.4 传统手势识别技术研究现状14-16
• 1.4.1 基于计算机视觉的手势识别研究现状14-15
• 1.4.2 基于数据手套的手势识别研究现状15-16
• 1.5 基于体感设备的手势识别16-17
• 1.6 论文的组织结构17-18
• 第2章 Leap Motion及相关技术原理概述18-23
• 2.1 Leap Motion设备介绍18-19
• 2.2 Leap Motion工作原理19
• 2.3 Leap Motion软件系统19-21
• 2.4 基于Leap Motion的手势识别研究现状21-22
• 2.5 本章小结22-23
• 第3章 交互系统结构与算法改进23-34
• 3.1 交互系统结构23
• 3.2 手势图像分割方法研究23-26
• 3.2.1 阈值分割法23-24
• 3.2.2 基于YCbCr颜色空间的肤色模型24-25
• 3.2.3 背景差分法25-26
• 3.3 改进的手势图像分割算法26-33
• 3.3.1 改进的背景差分法26-28
• 3.3.2 改进的YCbCr颜色模型28-29
• 3.3.3 基于YCgCr颜色模型的滑动帧背景差分法29-30
• 3.3.4 实验和结果分析30-33
• 3.4 本章小结33-34
• 第4章 基于Leap Motion的手势轨迹识别方法34-50
• 4.1 特征向量选取34-35
• 4.2 手势轨迹提取35-39
• 4.2.1 数据预处理35-37
• 4.2.2 轨迹提取37-38
• 4.2.3 轨迹优化38-39
• 4.3 手势识别决策39-41
• 4.3.1 欧氏距离39-40
• 4.3.2 最近邻法则40-41
• 4.3.3 识别判定41
• 4.4 手势识别训练41-49
• 4.4.1 手势样本库生成41-42
• 4.4.2 样本训练42-46
• 4.4.3 加权欧氏距离46-47
• 4.4.4 实验和结果分析47-49
• 4.5 本章小结49-50
• 第5章 手势交互演示系统50-60
• 5.1 系统软硬件环境50-51
• 5.2 系统交互流程51-52
• 5.3 系统功能设计和算法实现52-55
• 5.3.1 手势和交互功能52-53
• 5.3.2 手势识别过程和关键算法53-55
• 5.4 手势交互系统展示55-59
• 5.5 本章小结59-60
• 工作总结与展望60-61
• 致谢61-62
• 参考文献62-67
• 攻读硕士学位期间发表的论文及科研成果67

【参考文献】

中国期刊全文数据库 前10条

1 卢浩然;张宇;牛苗苗;税午阳;周明全;;基于Leap motion的三维文物虚拟拼接方法[J];系统仿真学报;2015年12期

2 黄俊;景红;;基于Leap Motion的手势控制技术初探[J];计算机系统应用;2015年10期

3 孟春宁;吕建平;陈萱华;;基于普通红外摄像机的手势识别[J];计算机工程与应用;2015年16期

4 胡弘;晁建刚;杨进;赵再骞;林万洪;;Leap Motion关键点模型手姿态估计方法[J];计算机辅助设计与图形学学报;2015年07期

5 潘佳佳;徐昆;;基于Leap Motion的三维自由手势操作[J];中国科技论文;2015年02期

6 朱明茗;景红;;基于体感技术的手势追踪与识别[J];计算机系统应用;2014年08期

7 李秀智;谭君;贾松敏;赵冠荣;尹晓琳;;基于结构纹理分解和多重网格的光流估计算法[J];上海交通大学学报;2014年07期

8 蔡兴泉;郭天航;臧坤;李凤霞;;基于无线数据手套的手势识别方法研究[J];系统仿真学报;2014年01期

9 卢章平;孔德飞;李小蕾;王军伟;;背景差分与三帧差分结合的运动目标检测算法[J];计算机测量与控制;2013年12期

10 冯志全;蒋彦;;手势识别研究综述[J];济南大学学报(自然科学版);2013年04期

中国硕士学位论文全文数据库 前5条

1 郑斌珏;基于Kinect深度信息的手势识别[D];杭州电子科技大学;2014年

2 胡志恒;非接触式手部运动识别研究[D];哈尔滨理工大学;2012年

3 高国阳;基于立体视觉的手势参数提取研究[D];国防科学技术大学;2011年

4 罗刚;基于数据手套的虚拟手实时交互平台的研究与设计[D];浙江大学;2006年

5 曾祥X;手形特征与运动轨迹相结合的动态手势识别[D];上海海事大学;2005年

，

本文编号：1100246