基于无标记增强现实的指尖与虚拟元器件插装交互研究
发布时间：2021-05-23 03:40
增强现实（AR）是通过把计算机生成的虚拟信息利用视频显示设备无缝融入到用户观察看到的真实场景中,来丰富和提升人们视觉体验的技术,是人机交互方向产生出的一种新的重要方式。近些年其在科技博物馆、多媒体课堂等教学场合得到了广泛的应用,但大多数都是通过使用手持标识方式的AR技术来进行交互的,其限制性较强,普遍存在易用性与沉浸感差的缺点。因此,利用人来代替手持标识作为AR的输入将是未来人机交互的发展方向,尤其是以人手作为交互的输入,能有效改善手持标识存在的缺陷。以电子元器件插装领域的增强现实示教任务为背景,通过分析和改进国内外相关技术,研发一种基于人手指尖与虚拟元器件交互的AR系统,并将其应用于电子元器件插装示教过程中。其关键是对手部的跟踪和指尖检测,无标记指尖的三维注册,以及指尖与系统标识的中点的位置关系的判别,最终完成指尖与虚拟元器件在插装环境中的人机交互。具体内容包括:（1）针对传统的基于标记板或环境中固定标识物的三维注册方式存在环境受到限制和交互不友好等问题,提出基于无标记的指尖自然特征的三维注册方式,相对传统的注册方式更加自然和灵活。在指尖检测方面,首先实现对手部的实时跟踪与检测,具体...
【文章来源】：江苏大学江苏省
【文章页数】：93 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 课题研究背景与意义
1.2 国内外研究现状
1.2.1 国外研究现状
1.2.2 国内研究现状
1.3 本文主要工作与章节安排
第二章 无标记指尖增强现实的相关理论
2.1 增强现实系统中的关键技术
2.1.1 虚实融合显示技术
2.1.2 三维注册技术
2.1.3 交互技术
2.2 指尖检测方法
2.2.1 基于曲率的指尖点检测
2.2.2 基于区域分析的指尖点检测
2.2.3 基于细化骨骼算法的指尖点检测
2.3 三维注册相关技术基础
2.3.1 相机模型
2.3.2 单应矩阵
2.3.3 特征匹配技术
2.4 本章小结
第三章 指尖的跟踪与检测研究
3.1 基于CamShift的手部区域跟踪
3.2 基于肤色检测和背景减除的手部分割
3.2.1 肤色检测
3.2.2 背景减除
3.3 手部边缘检测
3.4 指尖点检测
3.4.1 K余弦算法获取指尖候选点
3.4.2 改进的指尖特征点检测法
3.5 实验结果
3.6 本章小结
第四章 基于单应矩阵的三维注册算法研究
4.1 研究思路
4.2 三维注册过程实现
4.2.1 初始单应矩阵的求解
4.2.2 改进的FAST提取手部特征点
4.2.3 特征点位置查找
4.2.4 特征点描述
4.2.5 RANSAC剔除误匹配点求解单应矩阵
4.2.6 后续注册过程
4.2.7 特征点重检测提高注册鲁棒性
4.3 算法设计
4.3.1 单应性矩阵求解算法设计
4.3.2 手部整体注册算法设计
4.3.3 算法描述
4.4 实验与分析
4.4.1 注册结果实验
4.4.2 注册的鲁棒性实验
4.5 本章小结
第五章 基于无标记的指尖与虚拟元器件插装交互实验
5.1 系统开发环境
5.2 系统设计方案
5.3 系统的组成模块设计
5.3.1 索引目录工作台子系统
5.3.2 虚拟元器件插装展示工作台子系统
5.3.3 虚拟元器件三维注册子模块
5.3.4 指尖跟踪与检测子模块
5.3.5 指尖与虚拟元器件交互接口子模块
5.4 指尖与虚拟元器件交互的实现
5.4.1 标识坐标的3D/2D坐标转换
5.4.2 交互语义的实现
5.5 实验结果
5.6 交互实时性
5.7 本章小结
第六章 总结与展望
6.1 工作总结
6.2 工作展望
参考文献
致谢
攻读硕士学位期间科研成果
【参考文献】：
期刊论文
[1]初探AR交互技术在数字媒体艺术中的应用[J]. 周世明,赵远航. 计算机产品与流通. 2019(06)
[2]基于SIFT特征点检测的低复杂度图像配准算法[J]. 张晨光,周诠,回征. 扬州大学学报(自然科学版). 2018(04)
[3]基于FAST特征点检测的混合虚实注册方法[J]. 顾庆传,姜娜. 哈尔滨师范大学自然科学学报. 2017(02)
[4]全息波导头盔显示技术[J]. 曾飞,张新. 中国光学. 2014(05)
[5]基于区域分析的指尖检测算法的研究及在增强现实中的应用[J]. 周锋. 电子技术与软件工程. 2014(04)
[6]增强现实中虚实遮挡技术的研究现状[J]. 聂平. 数字通信. 2013(05)
[7]视频透视增强现实系统中的运动模糊研究[J]. 叶聪丽,陈一民,黄晨,马德宜,李启明,陆壬淼. 计算机工程. 2013(09)
[8]鲁棒性指尖检测框架及其算法改进与分析[J]. 徐义春,沈沆瑜,陈炼,周敦广. 计算机工程与应用. 2013(15)
[9]航天员辅助操作系统中人工标识的选取[J]. 李海龙,刘玉庆,朱秀庆. 计算机系统应用. 2013(05)
[10]国外虚拟装配技术研究综述[J]. 韩勇,王洁,赵杰,程永强. 飞航导弹. 2012(11)
硕士论文
[1]基于图像的RANSAC算法与硬件实现研究[D]. 张玄.西安电子科技大学 2018
[2]运动过程中指尖检测算法研究[D]. 宁爽.哈尔滨理工大学 2018
[3]基于增强现实的卫星装配诱导系统研究[D]. 郝秀峰.哈尔滨工业大学 2017
[4]基于增强现实的三维注册技术的研究与实现[D]. 刘运强.华东师范大学 2017
[5]电动汽车变速器虚拟装配与仿真优化研究[D]. 吴晟宇.吉林大学 2017
[6]利用3D快门眼镜测量立体视锐度[D]. 陈洋.吉林大学 2017
[7]面向装配的航空紧固件辅助设计研究[D]. 辛宇娟.沈阳航空航天大学 2016
[8]基于FAST检测及SIFT描述的特征检测算法[D]. 常旭剑.中北大学 2015
[9]图像拼接中多单应性矩阵配准及错位消除算法研究[D]. 王莹.华中科技大学 2015
[10]基于SURF特征点的图像拼接技术研究与应用[D]. 王雪刚.河北农业大学 2014
本文编号：3202216
【文章来源】：江苏大学江苏省
【文章页数】：93 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 课题研究背景与意义
1.2 国内外研究现状
1.2.1 国外研究现状
1.2.2 国内研究现状
1.3 本文主要工作与章节安排
第二章 无标记指尖增强现实的相关理论
2.1 增强现实系统中的关键技术
2.1.1 虚实融合显示技术
2.1.2 三维注册技术
2.1.3 交互技术
2.2 指尖检测方法
2.2.1 基于曲率的指尖点检测
2.2.2 基于区域分析的指尖点检测
2.2.3 基于细化骨骼算法的指尖点检测
2.3 三维注册相关技术基础
2.3.1 相机模型
2.3.2 单应矩阵
2.3.3 特征匹配技术
2.4 本章小结
第三章 指尖的跟踪与检测研究
3.1 基于CamShift的手部区域跟踪
3.2 基于肤色检测和背景减除的手部分割
3.2.1 肤色检测
3.2.2 背景减除
3.3 手部边缘检测
3.4 指尖点检测
3.4.1 K余弦算法获取指尖候选点
3.4.2 改进的指尖特征点检测法
3.5 实验结果
3.6 本章小结
第四章 基于单应矩阵的三维注册算法研究
4.1 研究思路
4.2 三维注册过程实现
4.2.1 初始单应矩阵的求解
4.2.2 改进的FAST提取手部特征点
4.2.3 特征点位置查找
4.2.4 特征点描述
4.2.5 RANSAC剔除误匹配点求解单应矩阵
4.2.6 后续注册过程
4.2.7 特征点重检测提高注册鲁棒性
4.3 算法设计
4.3.1 单应性矩阵求解算法设计
4.3.2 手部整体注册算法设计
4.3.3 算法描述
4.4 实验与分析
4.4.1 注册结果实验
4.4.2 注册的鲁棒性实验
4.5 本章小结
第五章 基于无标记的指尖与虚拟元器件插装交互实验
5.1 系统开发环境
5.2 系统设计方案
5.3 系统的组成模块设计
5.3.1 索引目录工作台子系统
5.3.2 虚拟元器件插装展示工作台子系统
5.3.3 虚拟元器件三维注册子模块
5.3.4 指尖跟踪与检测子模块
5.3.5 指尖与虚拟元器件交互接口子模块
5.4 指尖与虚拟元器件交互的实现
5.4.1 标识坐标的3D/2D坐标转换
5.4.2 交互语义的实现
5.5 实验结果
5.6 交互实时性
5.7 本章小结
第六章 总结与展望
6.1 工作总结
6.2 工作展望
参考文献
致谢
攻读硕士学位期间科研成果
【参考文献】：
期刊论文
[1]初探AR交互技术在数字媒体艺术中的应用[J]. 周世明,赵远航. 计算机产品与流通. 2019(06)
[2]基于SIFT特征点检测的低复杂度图像配准算法[J]. 张晨光,周诠,回征. 扬州大学学报(自然科学版). 2018(04)
[3]基于FAST特征点检测的混合虚实注册方法[J]. 顾庆传,姜娜. 哈尔滨师范大学自然科学学报. 2017(02)
[4]全息波导头盔显示技术[J]. 曾飞,张新. 中国光学. 2014(05)
[5]基于区域分析的指尖检测算法的研究及在增强现实中的应用[J]. 周锋. 电子技术与软件工程. 2014(04)
[6]增强现实中虚实遮挡技术的研究现状[J]. 聂平. 数字通信. 2013(05)
[7]视频透视增强现实系统中的运动模糊研究[J]. 叶聪丽,陈一民,黄晨,马德宜,李启明,陆壬淼. 计算机工程. 2013(09)
[8]鲁棒性指尖检测框架及其算法改进与分析[J]. 徐义春,沈沆瑜,陈炼,周敦广. 计算机工程与应用. 2013(15)
[9]航天员辅助操作系统中人工标识的选取[J]. 李海龙,刘玉庆,朱秀庆. 计算机系统应用. 2013(05)
[10]国外虚拟装配技术研究综述[J]. 韩勇,王洁,赵杰,程永强. 飞航导弹. 2012(11)
硕士论文
[1]基于图像的RANSAC算法与硬件实现研究[D]. 张玄.西安电子科技大学 2018
[2]运动过程中指尖检测算法研究[D]. 宁爽.哈尔滨理工大学 2018
[3]基于增强现实的卫星装配诱导系统研究[D]. 郝秀峰.哈尔滨工业大学 2017
[4]基于增强现实的三维注册技术的研究与实现[D]. 刘运强.华东师范大学 2017
[5]电动汽车变速器虚拟装配与仿真优化研究[D]. 吴晟宇.吉林大学 2017
[6]利用3D快门眼镜测量立体视锐度[D]. 陈洋.吉林大学 2017
[7]面向装配的航空紧固件辅助设计研究[D]. 辛宇娟.沈阳航空航天大学 2016
[8]基于FAST检测及SIFT描述的特征检测算法[D]. 常旭剑.中北大学 2015
[9]图像拼接中多单应性矩阵配准及错位消除算法研究[D]. 王莹.华中科技大学 2015
[10]基于SURF特征点的图像拼接技术研究与应用[D]. 王雪刚.河北农业大学 2014
本文编号：3202216
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3202216.html
