基于RGB-D摄像机的增强现实系统关键技术研究
本文关键词： 增强现实 同时定位与建图 稠密匹配 八叉树森林 回归森林 摄像机重定位 闭环检测 图优化 人机交互 CUDAGPU并行 出处：《浙江大学》2017年博士论文 论文类型：学位论文
【摘要】：随着信息技术的发展,增强现实(AugmentedReality,AR)技术近年来成为计算机视觉、计算机图形学领域的研究热点。增强现实是指在现实场景图像中叠加虚拟信息或物体,使得虚拟物体与现实场景融合,以增强人们对现实环境的感知与交互体验。目前,增强现实技术存在三个方面的技术难点:如何实现稳定精确的虚拟物体三维注册;如何提高虚拟物体与现实场景的融合真实度;如何进行自然的人机交互。同时定位与建图(SimultaneousLocalizationandMapping,SLAM)技术是三维注册技术中一种较为自然的方法,相比于在机器人领域的应用,增强现实应用中摄像机运动更快、自由度更大,环境纹理及几何结构更复杂,一些传统的SLAM算法会出现较为严重的追踪漂移、追踪丢失、误差累积等问题,更稳定的三维注册需求对SLAM算法的鲁棒性和精度都提出了更高的要求。此外,在现有的增强现实系统中,虚拟物体的注册位置会随系统的初始位姿变化或者依赖于人工标识,而如果希望自然地在已知场景中的绝对固定位置放置虚拟物体,就依赖于离线重定位技术,但现有的重定位算法都是在线实现的,且在精度和稳定性上都无法满足要求。最后,目前大多数的增强现实系统都仅仅是将虚拟物体与现实场景进行简单的叠加,缺少虚实物体的互遮挡,导致合成图像的视觉错乱,同时缺乏用户与虚拟物体间的人机交互。近年来,低成本RGB-D摄像机普及给增强现实技术的发展带来了新的契机。由于其提供了场景深度图,无论是在SLAM技术中的尺度漂移、地图构建,还是在虚实物体的融合以及人机交互方面都更具优势。本文围绕前面分析的几个技术难点,研究了基于RGB-D摄像机的增强现实系统中的关键技术,提出了 一种新的基于Frame-to-Model的SLAM系统框架,称之为FTM-SLAM,并在此基础上实现了 一套用户能够直接用手触控的增强现实人机交互系统。主要创新点和贡献总结如下:1.在FTM-SLAM框架中的视觉里程计部分,为了提高三维注册技术在快速运动条件下的鲁棒性以及不同环境下的自适应性,本文提出了一种RGB-D图像稠密匹配方法。该方法不需要提取特征点,而是将RGB-D图像与场景局部模型进行稠密匹配,直接构建耦合了稠密的ICP(IterativeClosestPoint)残差与彩色残差的能量方程。同时,针对局部模型的稀疏性特点,设计了面向GPU并行算法的八叉树森林结构,在减少存储资源消耗的同时提高了算法速度。2.在FTM-SLAM框架中的后端优化部分,针对摄像机长时间运动的误差累积问题,本文提出了一种基于Frame-to-Model的后端全局优化方法。基于ORB(Oriented FAST andRotatedBRIEF)二值特征构建的视觉词袋树和模型配准约束,提出了基于局部模型的多级一致性检验方法实现了快速准确的闭环检测。为了进行全局轨迹优化,本文构建了一种模型-位姿图(Graph),图中不仅包含摄像机位姿节点,还将局部模型的位姿加入图中,这样在优化时能够同时保持模型与摄像机以及不同工作区之间的局部几何约束。3.本文提出了一种基于回归森林的摄像机重定位算法,能够同时对已知场景中单帧RGB-D图像和单帧RGB图像进行摄像机6自由度精确位姿估计。与传统的基于图像或者稀疏特征点的方法不同,该算法无需提取特征点,而是通过回归的方法来解决摄像机重定位问题。算法能够同时适应稠密和稀疏计算,从而适应不同的场景环境。本文提出的具有旋转不变性的二值特征响应函数,对于与训练集中图像有较大旋转差异的待测帧具有较好的鲁棒性,提出的各向异性的高斯模型能够更好的拟合样本的空间分布。
[Abstract]:With the development of information technology , augmented reality ( AR ) technology has become a hot topic in computer vision and computer graphics . In order to optimize the global trajectory , a model - pose graph ( Graph ) is designed . In order to optimize the global trajectory , a model - pose graph ( Graph ) is proposed . In order to optimize the global trajectory , a model - to - model based global optimization method is proposed .
【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2017
【分类号】：TP391.41
【相似文献】
相关期刊论文 前10条
1 李勇,刘雨,唐波,肖奇伟;一种基于时空切片提取摄像机运动的方法[J];电视技术;2004年11期
2 孙凤梅,胡占义;摄像机简化模型对三维重构的影响——分析与实验[J];计算机辅助设计与图形学学报;2005年10期
3 树子;;运动摄像“4+1”DV摄像高手之路[J];数字通信;2006年04期
4 徐淑平;;视像中的摄像机运动检测[J];计算机技术与发展;2007年07期
5 高俊鑫;华炜;章国锋;秦学英;;带约束的摄像机定标方法[J];中国图象图形学报;2010年03期
6 耿玉亮;须德;;一种鲁棒的摄像机运动分类算法[J];电子学报;2006年07期
7 孙凤梅;王卫宁;;关于摄像机正交运动下约束方程独立性的一点讨论[J];自动化学报;2007年10期
8 黎俊;彭启民;吕文先;范植华;;基于尺度不变局部特征的摄像机运动检测[J];系统仿真学报;2009年16期
9 孙卓金;胡士强;;双摄像机协同人脸鹰眼检测与定位方法[J];计算机应用;2011年12期
10 张思民;瞿帆;孙航;;基于摄像机运动控制的运动目标检测与跟踪算法研究[J];福建电脑;2013年09期
相关会议论文 前10条
1 孙宇臣;葛宝臻;牟冰;孙明睿;张以谟;;采用线性方法对摄像机的分区标定[A];大珩先生九十华诞文集暨中国光学学会2004年学术大会论文集[C];2004年
2 刘越;王涌天;闫达远;;增强现实系统显示技术研究[A];第三届全国数字成像技术及相关材料发展与应用学术研讨会论文摘要集[C];2004年
3 张旭光;阎镇;;面向遥科学实验的增强现实应用研究[A];第二十三届全国空间探测学术交流会论文摘要集[C];2010年
4 王倩;高长城;徐大卫;;基于虚实像结合的增强现实研究[A];图像图形技术研究与应用2009——第四届图像图形技术与应用学术会议论文集[C];2009年
5 李丹;黄有群;;增强现实交互技术的研究[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集（上册）[C];2008年
6 葛莹;;基于视频影像的地理数据增强现实可视化研究[A];中国地理学会百年庆典学术论文摘要集[C];2009年
7 葛学东;;增强现实一致光照技术研究[A];第十三届全国图象图形学学术会议论文集[C];2006年
8 周志颖;郑思远;昌明;;增强现实内容管理云平台在数字科技馆中的应用[A];第十六届中国科协年会——分16以科学发展的新视野，，努力创新科技教育内容论坛论文集[C];2014年
9 王坚;;虚拟现实和增强现实的人机交互技术[A];计算机技术在工程建设中的应用——第十二届全国工程建设计算机应用学术会议演讲辑录[C];2004年
10 张娟;陈春晓;;基于分层重建的摄像机完全自标定[A];2011下一代自动测试系统学术研讨会论文集[C];2011年
相关重要报纸文章 前10条
1 本报记者 逄丹;“增强现实”用虚拟美化现实[N];通信产业报;2010年
2 中国移动研究院业务研究所 陈志刚;“增强现实”适宜后向收费[N];通信产业报;2010年
3 本报记者 邹大斌;增强现实:互联网应用的新热点[N];计算机世界;2011年
4 ;移动增强现实：是炒作还是下一件大事?[N];网络世界;2010年
5 ;AR：更深刻的现实[N];中国高新技术产业导报;2002年
6 重庆 哎呀;教你使用家用摄像机[N];电脑报;2002年
7 本报记者 刘霞;2020年的可能和不可能[N];科技日报;2011年
8 关景火 蔡涛 李德华;几种典型的表演动画系统[N];计算机世界;2002年
9 特约作者 苏驰;真亦假时假亦真[N];电脑报;2010年
10 华凌;NASA为商业飞行员开发增强现实设备[N];科技日报;2012年
相关博士学位论文 前10条
1 李佳宁;基于RGB-D摄像机的增强现实系统关键技术研究[D];浙江大学;2017年
2 董文会;多摄像机监控网络中的目标连续跟踪方法研究[D];山东大学;2015年
3 陈和恩;基于单目摄像机的增强现实场景感知技术研究[D];广东工业大学;2016年
4 谭飞刚;无视野重叠区域的跨摄像机行人跟踪关键技术研究[D];华南理工大学;2016年
5 孙晓燕;多摄像机接力目标跟踪关键算法研究[D];山东大学;2014年
6 林一;基于上下文感知的移动增强现实浏览器构建及优化方法研究[D];北京理工大学;2015年
7 赵越;实时增强现实中运动目标及场景的跟踪注册关键问题研究[D];东北大学;2015年
8 陆平;移动增强现实中的图像处理关键技术研究及应用[D];东南大学;2015年
9 魏小东;面向教育应用的增强现实系统关键问题研究[D];北京理工大学;2015年
10 赵守伟;增强现实辅助维修关键技术研究[D];河北工业大学;2016年
相关硕士学位论文 前10条
1 潘至尊;多摄像机连续目标跟踪系统的应用研究[D];聊城大学;2015年
2 余慧;多摄像机下的智能视频监控及其在电缆防盗中的应用研究[D];西南科技大学;2015年
3 吴盈;基于智能辅助视域盲区目标识别与匹配[D];宁波大学;2015年
4 马铂伦;电影特效镜头的制作[D];北京工业大学;2015年
5 文雪;基于信息融合的多摄像机跟踪的算法研究[D];黑龙江大学;2015年
6 石皓;用于全景与PTZ主从摄像机的标定方法研究[D];国防科学技术大学;2013年
7 张滢;多摄像机运动目标检测与分析研究[D];合肥工业大学;2014年
8 贡超;无重叠视域多摄像机目标匹配算法研究[D];合肥工业大学;2014年
9 任丽娜;圆锥镜面折反射摄像机的标定与自标定[D];云南大学;2016年
10 任荣;非重叠域多摄像机目标检测与跟踪算法研究[D];中国矿业大学;2016年
本文编号：1540208
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/1540208.html
