数据驱动的多视图三维重建

发布时间：2018-04-30 02:35

本文选题：三维重建 + 数据驱动　；参考：《合肥工业大学》2017年博士论文

【摘要】：三维重建一直是计算机视觉与图形学领域的热点研究问题之一,它的目的是如何有效地创造场景的三维模型。当今正处在虚拟现实与增强现实的蓬勃发展时代,三维模型是虚拟现实与增强现实的基础,因此,如何快速有效地创造场景的三维模型是计算机研究工作者无法回避的问题。传统的以手绘制等正向三维重建方法无法在真实性、实时性和交互性等方面满足现在的应用需求,尤其是对一些大规模场景,传统三维重建方法更是无法胜任。鉴于普通廉价相机的普及,极易从真实世界中采集大量的视频或图像数据,而计算机视觉技术又能提供满足人类视觉感知规律的计算模型,这有效地弥补了正向三维重建技术的不足。因此,基于视觉计算模型的三维重建技术是当今的主流发展趋势。基于上述背景,本论文研究数据驱动的多视图三维重建技术,包括如何从视频或图像数据中获取摄像机的内部参数、外部参数和场景三维几何信息,有效地解决大规模三维重建中的光照一致性和几何一致性等问题,为当今应用需求提供了一套完备的解决方案。概括地说,本论文的主要创新点如下:(1)提出了一种快速鲁棒的特征跟踪框架。此框架建立在本论文提出的带有方向的特征检测子和具有较强表达能给力的特征描述子之上,较好地解决了图像旋转、遮挡和相似性给描述子匹配带来的影响。此外,为了提高算法的时间效率,提出一种快速的多视图特征匹配方法,在不需要增加计算量的条件下,此方法能够有效地产生多视图之间的匹配关系,从而提高了特征跟踪的精度。高质量的特征跟踪方法能够促进运动推断结构技术的发展,为大规模复杂场景的三维重建奠定基础。(2)提出了一种快速鲁棒的摄像机绝对姿态估计算法。在向量的核空间内建立摄像机绝对姿态估计的求解方程,避免深度信息的影响,降低了计算绝对姿态需要的2D-3D点数,简化计算过程。在此基础之上,提出一种快速的非线性优化方法,对初始姿态进行优化,能够在较短的时间内获得摄像机的高精度姿态信息,为三角化和集束调整奠定基础。(3)提出了一种适用于大规模场景的快速鲁棒的集束调整算法。此算法从损失函数的角度考虑噪声数据对三维重建的影响。在此基础之上,充分利用摄像机与三维点以及雅克比矩阵之间的稀疏性,将大规模场景分解为在有限内存空间下的可求解问题,此外,采用稀疏矩阵压缩技术进一步提高内存空间的利用率。最后,充分利用了正态方程系数矩阵的对阵正定性,采用快速矩阵分解算法求解未知参数的解,有效地避免了直接计算高维逆矩阵带来的时间开销;同时采用并行思想实现了计算密集型的高维矩阵乘法运算,进一步提高了算法的计算效率。因此,优秀的集束调整算法为重建出与真实场景具有高度几何一致性的三维模型奠定基础。(4)提出了一种多视图三维重建框架。此框架将三维重建流程分为运动推断结构、多视图立体重建和表面重建等主要模块。在运动推断结构模块,提出一种新的计算流程、初始视图选取方法和基于显著性的歧义点云消除算法,有效地提高了运动推断结构生成的点云模型质量。在多视图立体模块,提出一种通用的多视图立体算法,能够自动选取初始化视图,避免人工干预的影响。在表面重建模块,采用多频带的混合技术优化纹理模型,增强了三维模型与真实场景的光照一致性。最后,建立在本论文的研究基础之上,开发了一套自动的三维重建系统,以便促进三维重建理论的进一步发展与应用。
[Abstract]:This paper presents a fast robust feature tracking framework , which can effectively solve the problems of image rotation , occlusion and similarity to describe sub - matching . ( 3 ) A fast robust clustering algorithm for large - scale scenes is proposed . This algorithm takes full advantage of the sparsity between the camera and the three - dimensional point and the jacques matrix , and decomposes the large - scale scene into solving problems in the limited memory space .

【学位授予单位】：合肥工业大学
【学位级别】：博士
【学位授予年份】：2017
【分类号】：TP391.41

【参考文献】