基于RGB-D视频序列的大尺度场景三维语义表面重建技术研究

发布时间：2020-06-20 00:02

【摘要】：场景的三维语义表面重建是通过相机拍摄的视频图像序列来重建场景的三维语义表面信息,其在增强现实、无人驾驶以及室内机器人等领域具有较高的研究价值。随着深度学习的不断发展,将基于深度学习的语义分割应用到场景语义表面重建领域也逐渐成为可能。本文设计了基于RGB-D相机的三维语义表面重建系统,重点开展了相机位姿的实时跟踪和优化、单帧RGB-D图像的语义分割以及场景的三维语义表面重建技术三个方面的研究。主要的创新点和贡献如下:为了保证特征点在图像中均匀分布,本文研究了自适应的ORB特征点提取算法,保证了前后帧图像的重叠区域有足够的特征点来估计相机的位姿。本文设计了有效的关键帧策略,该策略既保证了相机位姿跟踪的鲁棒性,又避免了关键帧的冗余。为了提高系统对于室内环境中相机各种运动情况下的相机位姿跟踪的鲁棒性,本文研究了基于光流跟踪的特征点匹配方法。该方法对于相机快速旋转运动、往返运动的跟踪具有很好的鲁棒性。为了提高卷积神经网络语义分割的精度,首先,本文提出了具有恒等捷径连接的空间金字塔网络模块用于提取图像的多尺度信息,金字塔并行网络的不同尺度通过设置卷积核中“孔”的不同大小来实现,并通过恒等连接结构设计成残差网络模块来加速网络的训练,金字塔模块显著改进了网络语义分割的精度。其次,本文设计了RGB-D特征信息多级融合网络模块用于综合彩色图像的纹理信息和深度图像的结构信息,该网络模块通过多级特征图融合网络,充分综合了彩色图像和深度图像浅层特征和深层特征的信息,进一步提高了语义分割的精度。基于TSDF空间网格模型对大尺度场景进行三维语义表面重建,并根据语义信息的特点,本文研究了三维语义体积元的表示方法、融合方法和语义表面生成方法。为了实现大尺度场景的表面重建,系统不断地将TSDF空间网格模型沿着相机轨迹进行位移。同时,本文还提出了将三维语义投射图与单帧语义分割图进行融合的算法。该算法不但提高了单帧语义分割的精度,而且提高了前后帧图像间语义分割结果的连贯性和稳定性。最后,本文搭建了语义SLAM系统实验平台。研究并设计了软件系统的实时性优化方法,提高了系统整体的实时性。在TUM RGB-D数据集上验证了本文设计的语义SLAM系统对于相机位姿跟踪的鲁棒性。在NYUv2数据集上验证了融合语义图对于单帧图像语义分割结果的改进。在大尺度数据集上验证了系统对较大尺度场景的三维语义表面重建的性能。
【学位授予单位】：中国科学院大学(中国科学院上海技术物理研究所)
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP391.41;TP18
【图文】：

基于 RGB-D 视频序列的大尺度场景三维语义表面重建技术研究A. 增强现实增强现实是指实时地在真实场景中融合虚拟物体或者信息，来增强人们对真实场景的认知和交互，可广泛地应用到科学研究、教育、娱乐、建筑、工程、影视等领域，图 1.1 为增强现实的一些典型应用。目前国内外公司纷纷布局该领域且已有多家公司发布了增强现实产品，比如微软公司的 AR 眼镜“Hololens”，谷歌公司的 AR 平板“Tango”，影创科技公司的 AR 智能眼镜“AIR”，亮风台公司的AR 眼镜“HiAR Glasses”等。

基于 RGB-D 视频序列的大尺度场景三维语义表面重建技术研究点和相机位姿不断地进行更新。与此同时，Pupilli 和 Calway[2]研究了将粒子滤波应用于视觉 SLAM 系统。为了使得观测方程具有高线性度，Civera 等人[3]提出了逆深度的表示方法，即将滤波器状态变量的三维点的深度替换为深度的倒数。

【相似文献】

相关期刊论文 前10条

1 夏利民,谷士文;基于形变模型和有限元的3D表面重建[J];长沙铁道学院学报;2000年02期

2 谢术富;;一种医学图像的3-D表面重建方法[J];计算机工程与应用;2006年06期

3 Orringer J.S.,Johnson T.M. ,牛新武;CO2_激光表面重建术对光损害皮肤的表皮p53免疫染色的影响[J];世界核心医学期刊文摘(皮肤病学分册);2005年01期

4 纪凤欣,欧宗瑛,秦绪佳,张勇,侯建华;基于投影的断层间多连通物体轮廓表面重建[J];大连理工大学学报;2001年05期

5 邓博文;赵正果;姚兴苗;;基于多属性的地质目标体表面重建方法研究[J];现代计算机(专业版);2015年26期

6 周晓杰;夏述高;苏志勋;;基于样条的波浪表面重建(英文)[J];大连理工大学学报;2007年04期

7 汪蕙，田雪芹，罗立民;一种基于双调和方程的表面重建方法[J];东南大学学报;1994年05期

8 陈菁,吴国萍,肖小河,李时光;中药材三维组织结构的表面重建技术[J];重庆大学学报(自然科学版);2000年03期

9 李晓阳;祝海江;胡伟;李伟;谭维贤;;下视SAR数据3维表面重建[J];中国图象图形学报;2016年04期

10 方林;郭万亮;盛茂;韩啸;张丽萍;;64排螺旋CT脑表面重建在婴幼儿脑外间隙增宽中的应用[J];医学影像学杂志;2015年04期

相关会议论文 前6条

1 程志全;王彦臻;李宝;徐凯;党岗;金士尧;;移动最小二乘表面综述[A];中国计算机图形学进展2008--第七届中国计算机图形学大会论文集[C];2008年

2 张洋;岳东杰;朱邦彦;;基于B样条曲面拟合的文物表面重建方法研究[A];江苏省测绘学会2011年学术年会论文集[C];2011年

3 谢路生;胡天林;王磊;黄元庆;;基于Shape from Silhouette的三维重构方法[A];2008中国仪器仪表与测控技术进展大会论文集（Ⅲ）[C];2008年

4 汤敏;王惠南;;基于IDL语言的医学图像可视化初步研究[A];第十二届全国图象图形学学术会议论文集[C];2005年

5 吕晟珉;杨勋年;汪国昭;;海量数据的曲面分片重建算法[A];第一届全国几何设计与计算学术会议论文集[C];2002年

6 许延清;李舟波;;分形复杂表面重建技术在储层预测中的应用[A];1994年中国地球物理学会第十届学术年会论文集[C];1994年

相关重要报纸文章 前4条

1 余志平;探索新技术 构建新模式[N];中国医药报;2005年

2 本报记者 李鹏;我国研制出木头“CT”[N];北京科技报;2009年

3 李七渝 张绍祥;关键技术：步步为营[N];计算机世界;2003年

4 ;螺旋CT[N];农村医药报（汉）;2006年

相关博士学位论文 前10条

1 代具亭;基于RGB-D视频序列的大尺度场景三维语义表面重建技术研究[D];中国科学院大学(中国科学院上海技术物理研究所);2018年

2 成思源;基于可变形模型的轮廓提取与表面重建[D];重庆大学;2003年

3 王永波;基于点云的空间对象表面重建及其多分辨率表达方法研究[D];南京师范大学;2008年

4 周筠;面向生物医学仿真的表面重建和四面体化技术研究[D];中南大学;2012年

5 曲传咏;多场耦合载荷作用下的骨重建行为模拟[D];天津大学;2007年

6 程岳;基于光度立体的高质量表面重建研究[D];浙江大学;2013年

7 田庆国;三维数据场表面重建及在人体动画和人体测量学中的应用[D];天津大学;2007年

8 李阳;基于深度摄像机的三维场景表面重建关键技术研究[D];浙江大学;2015年

9 王璐;点云模型表面重建及实时绘制方法研究[D];山东大学;2009年

10 纪凤欣;基于断层图象的几何重建理论与技术研究[D];大连理工大学;2002年

相关硕士学位论文 前10条

1 顾睿;面向航空叶片检测的点云匹配及表面重建[D];华中科技大学;2017年

2 李健;基于三维立体定标的物体表面重建技术[D];中国科学院大学(中国科学院长春光学精密机械与物理研究所);2018年

3 李小勇;物体表面重建方法的研究与实现[D];中南大学;2008年

4 朱蔚;基于激光扫描数据的物体表面重建及轮廓显示[D];哈尔滨工程大学;2005年

5 李丹;基于远程的线激光扫描3D表面重建技术研究[D];西北农林科技大学;2013年

6 王江;基于自由臂三维超声成像的脊椎二维轮廓线表面重建[D];云南大学;2016年

7 王帅;多视角三维建模算法的关键技术研究[D];杭州电子科技大学;2016年

8 刘青;基于表面重建的实时软组织切割与变形算法实现[D];上海交通大学;2010年

9 陆斌;用于增强现实的实时深度图像三维人体表面重建[D];天津大学;2014年

10 田维丽;基于多隐层BP神经网络的表面重建算法及并行化研究[D];宁夏大学;2017年

本文编号：2721542