多视角立体三维重建方法研究

发布时间：2019-02-24 18:09

【摘要】：多视角立体(Multi-view Stereo)三维重建,简称MVS重建,旨在从一组标定的二维多视角图像精确地重建三维几何形状,是计算机视觉中一个基础且活跃的研究领域。随着数码相机,无人机和智能手机的广泛使用,日常生活中每天可以捕获大量的图像数据。MVS提供了一种使用图像重建室内和室外场景的有效方式,并在许多实际应用中发挥重要的作用,例如,娱乐、增强现实、数字文化遗产保护、城市重建、3D打印、对象检测和识别。虽然MVS重建方法已经取得了稳定的进展,目前已有的方法仍然在如下几个方面具有局限性,包括:(a)在处理深凹陷区域和细长突起结构时重建效果较差,对初始值敏感;(b)不易恢复尖锐表面特征和表面小尺度细节,占用内存较高;(c)较高的计算成本和较慢的收敛速度;(d)在实时重建中缺乏高质量的实时反馈。为了处理上述问题,本文从不同角度改进MVS重建。首先,为了提高在深凹陷和细长突起结构的重建质量,提出一种面向广义重投影误差最小化的两阶段最优化方法:Tw GREM。提出的广义重投影误差将立体和轮廓线索信息整合在一个统一的能量泛函中。为了最小化能量泛函,首先在三维体素上引入凸松弛和凸优化,重建初始的表面。然后,基于三角网格的表面演化算法细化重建结果产生高质量的重建输出。实验验证了Tw GREM在重建精度和完整度方面的优势,特别是对于覆盖有弱纹理的三维场景和空间视角比较稀疏的图像数据。第二,为了重建表面的小尺度细节和尖锐的表面特征,并同时对弱纹理区域鲁棒且有效的抑制噪声的影响,本文提出一种细节保留的且目标自适应的变分MVS重建算法:DCV。算法通过交替执行重投影误差最小化和三角网格去噪算法重建三维表面。在重投影误差最小化中,提出一种新颖的图像间相似性度量方法,有效地保留重建表面的小尺度细节,并且建立起了引导滤波和图像配准之间的联系。在三角网格去噪中,提出一种目标自适应的p去噪算法,可以自适应地估计p值和正则化参数。定量的实验评估验证了提出的DCV方法能够恢复更多的表面细节,获得更干净的和精确的重建结果。特别地,DCV在Middlebury dino ring和dino sparse数据集上的精度和完整度均实现了当前最好的结果。第三,为了快速重建高质量的三维形状,本文提出一种简单,高效灵活的基于深度图融合的MVS算法:Co D-Fusion。方法的核心是采用坐标下降(Coordinate Decent,即Co D)高效地最小化各向异性或各项同性全变分(TV)与L1结合的能量泛函。Co D-Fusion通过求解一组逐体素的L1最小化子问题来最小化TV+L1。这些L1最小化子问题可以使用快速加权中值滤波(WMF)高效的求解。WMF可被扩展到更大的邻域以更好的抑制重建中的瑕疵。定量和定性的评估结果验证了Co D-Fusion算法作为一种面向大尺度重建的MVS算法的灵活性和高效性。第四,为了实现面向实时应用的高效、鲁棒且低成本的MVS重建,本文提出一种基于GPU和单目RGB相机的实时重建系统和MVS算法。系统的输入来自低成本的消费级相机,如网络摄像头或手机端的摄像头。提出的算法可以鲁棒地追踪相机姿态和估计深度图,并将深度图融合为高质量的三维模型,同时实时地细化相机姿态。通过对深度搜索空间随机的初始化,估计深度图的复杂度独立于深度的搜索范围,因此算法相对于场景的大小具有可扩展性。通过采用一种基于置信度的深度调整算法,重建算法对于弱纹理比较鲁棒。由于系统可以实时高质量地可视化重建结果,拍摄者可以在重建过程中自由的调整相机位置并规划拍摄路径。总的来说,本文的工作不仅提升了MVS的重建质量和效率,产生新的当前最好结果,而且它的解决重建问题的思路可以激发新的MVS算法或者其它重建方法。
[Abstract]:......
【学位授予单位】：哈尔滨工业大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP391.41

【引证文献】