基于Kinect和指尖识别的EAST手势交互系统
发布时间：2021-10-19 18:59
EAST三维模型结构复杂、部件种类繁多,对于大屏幕上的EAST模型交互,传统的交互设备如鼠标键盘等都需要时刻接触设备,给用户带来不便。无法达到普通小显示屏给人带来的交互一致性,同时大屏幕上的交互会带来强烈的空间差异性,长期观看容易使人产生疲劳感。三维模型交互比二维界面交互更为复杂,对复杂的EAST三维模型来说,传统交互方式具有一定的局限性、复杂性和疲劳性。因此我们设计了一种自由、直接的交互方式来减弱空间差异性,降低交互复杂性,避免长期疲劳性的系统——EAST三维模型手势交互系统。对系统的研究分为三个部分实现:需求分析、算法研究实现、系统实现和测试。在需求分析阶段,首先对EAST实体装置的基本情况进行了简单介绍,从而引出了 EAST三维虚拟模型的交互需求。然后针对EAST模型的结构进行了分析和介绍,并以调查问卷的形式进行交互需求的调研和分析。通过调研分析,我们设计了6种手势,分别是移动、点击、拾取、旋转、拖拽、缩放。与此同时,通过查阅和研究国内与国外的裸手识别相关资料和文献,我们最终提出了 "基于Kinect和指尖特征"的动态手势识别算法。"基于Kinect和指尖特征"的手势识别算法的实...
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：81 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究背景与意义
1.1.1 传统设备的限制
1.1.2 体感交互时代
1.1.3 EAST模型体感交互意义
1.2 国内外研究现状
1.2.1 国外研究现状
1.2.2 国内研究现状
1.3 论文组织结构
1.4 本章小结
第2章 EAST模型交互需求及系统方案研究
2.1 EAST装置的基本情况
2.2 EAST模型简介
2.3 模型交互分析
2.3.1 加载EAST模型
2.3.2 自由查看
2.3.3 详细信息显示
2.3.4 模型拾取及视口变换
2.3.5 EAST主机装配动画
2.4 交互手势设计
2.5 系统研究方案
2.6 开发工具分析及选择
2.6.1 开发语言和环境
2.6.2 Unity3D引擎
2.7 本章小结
第3章 数据采集和手部区域分割
3.1 引言
3.2 数据采集
3.2.1 Kinect简介
3.2.2 采集方法
3.3 背景减法
3.3.1 背景减法相关研究
3.3.2 混合高斯的背景减法
3.4 肤色分割
3.4.1 椭圆肤色模型
3.4.2 算法流程
3.5 小结
第4章 基于K曲率和掌心距离的指尖检测
4.1 引言
4.2 手掌定位
4.2.1 圆形霍夫变换
4.2.2 手掌重心及掌轴
4.2.3 掌心位置确定
4.3 指尖检测
4.3.1 轮廓采样
4.3.2 曲率计算
4.3.3 指尖检测
4.3.4 掌轴检测
4.4 小结
第5章 EAST手势交互系统实现及测试
5.1 引言
5.2 系统方案
5.2.1 系统架构
5.2.2 系统目标
5.2.3 算法设计
5.3 指尖特征提取实现
5.3.1 Kinect初始化
5.3.2 GMM模型训练实现
5.3.3 手部区域分割
5.3.4 特征提取过程
5.4 系统功能实现
5.4.1 手势模板定义
5.4.2 模型处理
5.4.3 功能实现及界面
5.5 结果分析
5.5.1 背景适应性
5.5.2 静态手势识别的稳定性
5.5.3 动态手势识别的准确率
5.6 小结
第6章 总结与展望
6.1 系统总结
6.2 工作展望
参考文献
致谢
在读期间发表的学术论文与取得的其他研究成果
【参考文献】：
期刊论文
[1]增强现实环境下的人手自然交互[J]. 孙超,张明敏,李扬,汤兴,潘志庚. 计算机辅助设计与图形学学报. 2011(04)
[2]基于Hausdorff距离的手势识别[J]. 张良国,吴江琴,高文,姚鸿勋. 中国图象图形学报. 2002(11)
[3]连续动态手势的时空表观建模及识别[J]. 任海兵,祝远新,徐光祐,林学訚,张晓平. 计算机学报. 2000(08)
[4]基于表观的动态孤立手势识别[J]. 祝远新,徐光祐,黄浴. 软件学报. 2000(01)
[5]基于数据手套输入的汉语手指字母的识别[J]. 吴江琴,高文,陈熙霖. 模式识别与人工智能. 1999(01)
博士论文
[1]基于肌电模式的中国手语识别研究及康复应用探索[D]. 李云.中国科学技术大学 2013
硕士论文
[1]基于Kinect的孤立词手语识别系统研究[D]. 江勇军.中国科学技术大学 2015
[2]基于视觉的静态手势识别系统[D]. 王茂吉.哈尔滨工业大学 2006
本文编号：3445435
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：81 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究背景与意义
1.1.1 传统设备的限制
1.1.2 体感交互时代
1.1.3 EAST模型体感交互意义
1.2 国内外研究现状
1.2.1 国外研究现状
1.2.2 国内研究现状
1.3 论文组织结构
1.4 本章小结
第2章 EAST模型交互需求及系统方案研究
2.1 EAST装置的基本情况
2.2 EAST模型简介
2.3 模型交互分析
2.3.1 加载EAST模型
2.3.2 自由查看
2.3.3 详细信息显示
2.3.4 模型拾取及视口变换
2.3.5 EAST主机装配动画
2.4 交互手势设计
2.5 系统研究方案
2.6 开发工具分析及选择
2.6.1 开发语言和环境
2.6.2 Unity3D引擎
2.7 本章小结
第3章 数据采集和手部区域分割
3.1 引言
3.2 数据采集
3.2.1 Kinect简介
3.2.2 采集方法
3.3 背景减法
3.3.1 背景减法相关研究
3.3.2 混合高斯的背景减法
3.4 肤色分割
3.4.1 椭圆肤色模型
3.4.2 算法流程
3.5 小结
第4章 基于K曲率和掌心距离的指尖检测
4.1 引言
4.2 手掌定位
4.2.1 圆形霍夫变换
4.2.2 手掌重心及掌轴
4.2.3 掌心位置确定
4.3 指尖检测
4.3.1 轮廓采样
4.3.2 曲率计算
4.3.3 指尖检测
4.3.4 掌轴检测
4.4 小结
第5章 EAST手势交互系统实现及测试
5.1 引言
5.2 系统方案
5.2.1 系统架构
5.2.2 系统目标
5.2.3 算法设计
5.3 指尖特征提取实现
5.3.1 Kinect初始化
5.3.2 GMM模型训练实现
5.3.3 手部区域分割
5.3.4 特征提取过程
5.4 系统功能实现
5.4.1 手势模板定义
5.4.2 模型处理
5.4.3 功能实现及界面
5.5 结果分析
5.5.1 背景适应性
5.5.2 静态手势识别的稳定性
5.5.3 动态手势识别的准确率
5.6 小结
第6章 总结与展望
6.1 系统总结
6.2 工作展望
参考文献
致谢
在读期间发表的学术论文与取得的其他研究成果
【参考文献】：
期刊论文
[1]增强现实环境下的人手自然交互[J]. 孙超,张明敏,李扬,汤兴,潘志庚. 计算机辅助设计与图形学学报. 2011(04)
[2]基于Hausdorff距离的手势识别[J]. 张良国,吴江琴,高文,姚鸿勋. 中国图象图形学报. 2002(11)
[3]连续动态手势的时空表观建模及识别[J]. 任海兵,祝远新,徐光祐,林学訚,张晓平. 计算机学报. 2000(08)
[4]基于表观的动态孤立手势识别[J]. 祝远新,徐光祐,黄浴. 软件学报. 2000(01)
[5]基于数据手套输入的汉语手指字母的识别[J]. 吴江琴,高文,陈熙霖. 模式识别与人工智能. 1999(01)
博士论文
[1]基于肌电模式的中国手语识别研究及康复应用探索[D]. 李云.中国科学技术大学 2013
硕士论文
[1]基于Kinect的孤立词手语识别系统研究[D]. 江勇军.中国科学技术大学 2015
[2]基于视觉的静态手势识别系统[D]. 王茂吉.哈尔滨工业大学 2006
本文编号：3445435
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3445435.html
