基于人工神经网络的三维重建优化算法研究

发布时间：2020-05-20 22:02

【摘要】：三维重建技术在计算机视觉领域已经得到了广泛的应用,从二维图像中获取空间的三维信息,能让人们以更加全面、宏观的视角去观察一个场景,也使计算机具备了空间感知能力,极大地推进了无人驾驶、机器人导航等技术的发展。但由于重建场景具有多样性与复杂性,大量的相似纹理与背景噪声使得现有的三维重建技术很难同时具备高精度与实时性,且存在误匹配过多、相机位姿恢复精度不足以及重建结果全局一致性低等问题。为了实现更高效率、高精度的三维重建,本文提出了基于人工神经网络的三维重建优化算法,利用神经网络所具备的语义识别及非线性拟合特性,对三维重建过程中特征点处理、位姿恢复及回环检测等三个重要部分进行了算法优化,具体工作与创新如下:首先,运用BP(Back Propagation,反向传播)神经网络的非线性拟合能力,分析图像复杂度与特征点数量之间的关系,以实现在不同场景下能够自适应地调整特征点的检测数量;利用FCN(Fully Convolutional Network,全卷积网络)神经网络所具备的语义分割特性,对图像中的主要目标范围进行确定,以限制特征点的检测区域,避免背景噪声的影响;通过分析三维重建过程中相机位姿偏移的稳定性,限制待匹配特征点的像素检测范围,以实现特征点匹配的优化,得到更高精度的匹配特征点。其次,使用优化后的精确匹配特征点计算出初始位姿,恢复稀疏点云,再将匹配特征点、初始位姿及稀疏点云作为优化变量,构造一个最大似然估计问题,设计相应的重投影误差函数,并通过图优化方法来最小化误差函数,同时设置阈值剔除误匹配,降低累积误差的影响,得到优化的相机位姿。最后,取消了回环检测中传统的词袋结构,根据Faster-RCNN神经网络对场景图像的语义识别结果,构建二维语义特征向量图,并相应地设计了一种基于非线性累积误差的相似度计算方法,由此识别出回环,实现了更高精度的回环检测。
【图文】：

图 2.1 展示了三维重建的全过程。图 2.1 三维重建流程图2.1 SFM 与 SLAMSFM 是一种通过具有空间位置联系的二维图像序列来估计其三维结构的成像技术，已广泛应用于计算机视觉和视觉感知（Visual Perception）领域。目前，SFM 主要是通过第三方库 OpenMVG（Multiple View Geometry）和 OpenMVS（Multiple ViewStereovision）来具体实现，如图 2.2 所示，其中 OpenMVG 用于生成相机的位姿和稀疏点云，OpenMVS 则利用 OpenMVG 的结果来生成稠密点云，并将其三角化，，最后生成纹理。 SFM 算法目前仍无法满足实时性的要求，但精度高，一般用于离线处理。相较于SFM

图 2.2 OpenMVS 与 OpenMVG 的流程及相互关系图 2.3 Visual SLAM 算法流程 特征点检测与匹配图像的特征点通常为角点、边缘和区块。特征点包括关键点和描述子两个部分键点代表的是特征点的像素坐标，而描述子是指一个多维的向量，表示关键点
【学位授予单位】：中国人民公安大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP183

【相似文献】

相关期刊论文 前10条

1 徐建;;医学影像三维重建系统的实现探讨[J];影像技术;2017年04期

2 陈合新,虞春堂,钟世镇;颞骨内部结构CT三维重建的研究[J];中华耳鼻咽喉科杂志;2000年05期

3 陆惠民,王秀春,史美德,刘守忠;生物显微结构连续切片图象的象素地址矢量表达和三维重建信息加工[J];生物物理学报;1988年03期

4 ;三维重建[J];北方建筑;2019年04期

5 宋红芳;吴宝平;赵丽颖;王辉;刘志成;;三维重建在口腔生物力学中的应用[J];医学信息;2018年07期

6 刘建国;;可移动文物的多视角影像三维重建[J];考古;2016年12期

7 张家树，李时光，杨恬;三维重建窗口的设计实现[J];西南师范大学学报(自然科学版);1994年03期

8 李治安，王新房，陆平，王加恩，邓又斌，胡纲，杨娅，刘俐;经食管超声心动图纵向扫描切面三维重建[J];中华超声影像学杂志;1994年01期

9 苏鸿根;;三维重建和重构的研究[J];工程图学学报;1986年01期

10 苏鸿根;;三维重建和重构的研究[J];工程图学学报;1986年07期

相关会议论文 前10条

1 肖智博;吕富荣;欧阳羽;曾勇明;吕发金;;闭气扫描在肩关节三维重建中的价值[A];2010中华医学会影像技术分会第十八次全国学术大会论文集[C];2010年

2 宋宇莹;;行星状星云的三维重建[A];'2008系统仿真技术及其应用学术会议论文集[C];2008年

3 李佳;罗月童;龙鹏程;黄善清;闫锋;孔维华;吴宜灿;FDS团队;;三维放射治疗计划系统中快速三维重建方法的研究与应用[A];第二届全国核技术及应用研究学术研讨会大会论文摘要集[C];2009年

4 赵明浦;;物体表面三维重建实现方法研究现状[A];中国生物医学工程进展——2007中国生物医学工程联合学术年会论文集（上册）[C];2007年

5 吴亚敏;;“血管的三维重建”模型的优化算法分析[A];第一届中国智能计算大会论文集[C];2007年

6 胡明星;袁保宗;唐晓芳;;投影三维重建中基于遗传算法的基础矩阵估计方法[A];第十届全国信号处理学术年会（CCSP-2001）论文集[C];2001年

7 叶青盛;计建军;王延群;杨军;周盛;王晓春;王立伟;;基于超声图像的膀胱三维重建系统设计与实现[A];天津市生物医学工程学会第三十三届学术年会论文集[C];2013年

8 诸葛斌;周荷琴;郎文辉;唐雷;冯焕清;;基于表面点的数字人三维重建[A];人体断面数据获取与图像处理研讨会论文汇编[C];2005年

9 谭跃钢;吴正平;;一种新的基于双目视模型的三维重建方法[A];中国仪器仪表学会第三届青年学术会议论文集（上）[C];2001年

10 胡罢生;谭欢庆;曲华丽;邱士军;张雪林;昌仁民;;多层螺旋CT扫描三维重建后逐层显示解剖结构及临床意义[A];中华医学会第十三届全国放射学大会论文汇编（下册）[C];2006年

相关重要报纸文章 前6条

1 记者 牟景君;东林大研究出三维重建和3D打印技术[N];中国绿色时报;2015年

2 记者 周辰;“三维重建”病灶 手术更精准[N];哈尔滨日报;2015年

3 本报记者 叶青 通讯员 粤科宣;病人家属也可操刀“做手术”[N];广东科技报;2011年

4 本报记者 王星;还原洞窟佛像[N];文汇报;2012年

5 本报记者 彭溢 闫一菲;高科技在民用领域大显身手[N];黑龙江日报;2018年

6 记者 陶克强　通讯员 张范 嘉善县委报道组 刘文书;从低端徘徊向高端突破[N];嘉兴日报;2011年

相关博士学位论文 前10条

1 肖雄武;具备结构感知功能的倾斜摄影测量场景三维重建[D];武汉大学;2018年

2 谢榛;基于无人机视觉的场景感知方法研究[D];浙江工业大学;2017年

3 张金强;星载全方位SAR目标三维重建技术研究[D];西安电子科技大学;2018年

4 胡杨;基于深度相机的叶菜类作物三维重建与生长测量方法研究[D];浙江大学;2018年

5 唐丽;由手提相机获得的序列图像进行三维重建[D];西安电子科技大学;2003年

6 姜光;基于二次曲线的单轴旋转运动分析和三维重建[D];西安电子科技大学;2003年

7 王宇宙;计算机视觉三维重建理论与应用[D];西北大学;2004年

8 孙向军;场景三维重建的若干关键技术研究[D];南京理工大学;2004年

9 方驰华;肝脏管道系统数字化及虚拟肝脏的研究[D];第一军医大学;2005年

10 陈付幸;基于非定标图像序列的三维重建关键技术研究[D];国防科学技术大学;2005年

相关硕士学位论文 前10条

1 王博闻;基于ORB-SLAM2的医学影像三维重建[D];中北大学;2019年

2 李光瑞;基于图像的动脉血管三维重建与分割方法的研究与实现[D];山东大学;2019年

3 王鹤;基于立体视觉的单尺度三维重建特征匹配模型研究[D];哈尔滨工程大学;2019年

4 王敏;基于CT/MRI融合Kambin三角三维重建模型与标本测量对比研究[D];南方医科大学;2019年

5 王妍心;“互联网+”背景下宝清县政府信息公开问题及对策研究[D];东北农业大学;2019年

6 邹润阳;实时室内三维重建与机器人寻径算法的研究与实现[D];上海交通大学;2017年

7 蒋华强;单目图像序列三维重建研究[D];西南科技大学;2019年

8 陈斌;假肢接受腔三维重建系统的设计与实现[D];大连理工大学;2018年

9 杨腾达;基于双线阵相机的三维重建系统[D];郑州大学;2019年

10 刘立强;基于深度学习的视觉三维重建研究[D];北方工业大学;2019年

本文编号：2673261