基于多视图像的平面场景重建研究

发布时间：2020-08-06 17:20

【摘要】：场景三维重建是机器视觉的核心任务之一,也是机器人研究领域中的一个重要研究方向。随着各种机器人在数字城市、智慧城市中执行实时监控、探测、救援甚至作为替身等任务的需要,利用其视觉系统采集的图像进行城市场景重建成为近年来广大学者研究的热点。然而,开放式的城市大场景结构复杂、相互遮挡严重,采集的图像中常存在阴影、高光反射等光照不稳定因素,再加之常见的建筑物场景的平面区域纹理稀疏、重复,尤其是窗户区域弱纹理等现象的存在,使得准确而逼真地重建此类场景依然面临着许多问题和挑战。本文针对大场景重建的不利因素,围绕基于彩色图像的特征检测、平面区域的不连续视差优化、平面区域重建的点云稀疏、孔洞和平面颠簸问题,以及建筑物窗户区域的重建不完整问题进行了研究和探讨,为提高三维重建的质量和完整性提供一些有效的解决方案。具体研究内容和创新点如下：(1)基于灰度图像的特征检测因丢失颜色信息而在阴影、影子和高光等区域出现特征检测不稳定的问题。本文在颜色的双色性反射模型下构造了一种颜色的饱和度不变量,并将其与已有的色调不变量结合,运用到边缘检测与角点检测中。两种不变量的结合不但增强了检测子对阴影、高光区域的抗干扰能力,同时互相弥补,检测出目标的真实边缘和稳定的角点特征。(2)在立体匹配的局部算法中,由于局部窗口的平滑假设在倾斜平面或目标边缘处不成立,造成平面视差不连续,进而导致三维重建的模型呈现阶梯状。本文根据图像平滑的原理,提出一种图像边缘与视差稀疏梯度约束的全局视差优化算法,并利用准二次变量分离算法求解目标函数,获得优化的视差图。通过对公共测试图像的实验表明,提出的算法有效地在子像素级的视差精度内平滑了不连续视差,解决了平面区域重建的阶梯状问题。(3)将三维稀疏点云的多平面模型估计和无监督的二维图像分割相结合,在不借助深度图的条件下,提取完整的平面区域,分段重建三维多平面场景。本文首先利用分层抽样代替随机抽样,改进了J-linkage多模型估计算法,然后利用该方法对稀疏点云进行多平面拟合,获得了场景的多平面模型,最后利用多平面模型构造相关近邻图,形成分割标记,将平面区域提取并重建。提出的方法克服了平面区域重建时纹理稀疏或重复纹理造成的孔洞问题,以及微面片拟合平面重建的颠簸现象。(4)通过建立一种具有仿射不变性的直线描述子对图像中的直线特征进行了精确匹配。首先将待匹配直线离散为对应点的集合,将直线描述转化为点的描述,避免了直线不完整造成的支撑区域大小不一致的问题；然后结合直线的方向和长度,定义点描述子的主方向和尺度,通过统计离散点集的局部邻域的梯度信息,使描述子具有仿射不变性。为了提高直线匹配速度,在进行直线描述之前,本文采用了极线约束精简了待匹配直线集合,再利用最近邻距离比准则对直线精确匹配。实验结果表明本文提出的直线描述子在仿射、亮度、视点、遮挡等变化条件下具有精确的匹配性能。另外,直线匹配被应用于场景的三维直线重建,给后续的建筑物窗户重建提供了基础。(5)提出了一种基于图像边缘与玻璃属性约束的窗户检测方法。首先,将图像边缘作为窗户的初始定位,然后分别在边缘的两侧提取局部的颜色和纹理特征,并将二者的差异性作为识别窗户的特征,最后,先采用Mahalanobis距离分类器进行局部含窗区域判决,再利用图像分割的算法提取窗户的整体区域。提出的算法能在窗户形状结构未知的情况下,对建筑物表面的窗户有效检测。在重建应用中,将从图像中检测的窗户作为二维定位,将三维直线模型作为空间定位,对窗户实现了重建,克服了一般方法在窗户这种高光区域不能完整重建的困难。
【学位授予单位】：南昌大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP391.41
【图文】：

旋转矩阵,几何变换,成像过程,向量

向上为ｙ轴正方向的坐标系。而在计算机视觉的中，更常采用像素坐标来进行计逡逑算，该坐标的原点位置为图像的左上角，Ｘ轴正方向为水平向右，ｙ轴正方向为逡逑垂直向下。如图２．４所示，左图是图像坐标的表示，图像坐标值通常用物理尺寸逡逑作为长度单位（例如ｍｍ），它是一个连续变化的量。Ｐ为摄像机光轴Ｚ轴与图像逡逑平面的交点，也称光必。若忽略各种啼变，Ｐ则位于图像的中也。右图为像素坐逡逑标的表示，像素坐标通常Ｗ像素为单位。假设光也Ｐ坐标为（ｐｕ，ｐ，），图像坐标逡逑可转化为像素坐标：逡逑Ｍ邋＝邋／左＋邋Ａ邋和邋ｖ邋＝邋／左＋邋Ａ逦口．４）逡逑Ｚｃ逦王Ｃ逡逑Ｕ逦Ｕ逡逑逦？逦邋逦＾逡逑Ｖ＂逦ＥＥ＋Ｅ壬Ｅ逡逑＿逦Ｐ逦二二二二二－一＇．－逡逑Ｐ．逦邋丰－逡逑逦—逡逑逦ｉ逦Ｉ逦Ｖ邋，，二二二二二二二二二二逦Ｐ，逦＇邋Ｕ．邋．１邋……Ｎ邋Ｉ邋Ｉ邋１邋Ｉ」逡逑W２．４圈像坐标与像素坐标的关系逦絮逡逑式（４）也可写成为齐次坐标的矩阵形式：逡逑Ｔ。Ａ逡逑叫庶逦［Ｘ逡逑Ｖ邋＝邋０邋＾逦Ｐ．逦ｙ逦口．５）逡逑１邋ｄｙ逦１逡逑Ｕ邋０逦０逦Ｉ逦Ｌ邋Ｊ逡逑其中，ｄｙ、式分别为图像传感器沿Ｘ、ｙ方向的相邻两像素之间的距离。逡逑由于摄像机可处于场景中的任意位置，摄像机位置的不确定性使我们还需逡逑要选择一个基准坐标系才能描述它的具体位置

投影矩阵,多视点,框架,图像

逦ｌＵｆｆＷＩＭｉｌ．逡逑图３．４多视点圈像的匹配逡逑如图３．４所示，当前框架中已包含了Ｈ幅已求出投影矩阵的图像（１，＿，、１，－２、逡逑Ｉ，一巧日３Ｄ重建点ＭＷ及它们对应的２Ｄ点（巧＿，、巧＿２、巧＿３）。并且，已经对最逡逑后一幅图像１，＿，和新加入的图像Ｉ，进行了匹配。逡逑首先，对图像１，＿，和Ｉ，的匹配点巧＿，和巧，检测它们对应的空间３Ｄ点Ｍ是逡逑否存在当前框架中。如果３Ｄ点和其对应的２Ｄ点（Ｍ，ｗ，）存在且大于６组时，新逡逑图像Ｉ，对应的投影矩阵１＊，可材直接代入射影重建方程组求出。逡逑为了尽量避免引入当前框架中的错误匹配点，在此之前，应该去除匹配集中逡逑的外点。如果一个重建点在每幅图像的重投影和原像点的距离误差的最大值小逡逑于某一阔值时，则为内点，反之为外点。逡逑２．３．４结构更新逡逑每一次加入新的图像后

色调,饱和度,边缘检测,秩序

对梯度的模进行非极大值抑制，将局部幅值变化最大的点作为边缘逡逑点保留，并选用适当的闽值，将图像中的边缘点连接成轮廓。逡逑图３．４（ａ）是一张人工图像，它是一张饱和度不同而色调都为蓝色的图片，色逡逑调有深到浅。图３．４脚是图３．４脚的色调图。图１４似是图３．４（ａ）饱和度图。图３．４（ｄ）逡逑和（句是分别用色调不变量和饱和度不变量检测边缘的结果。图（ｄ）显示，因为色逡逑调相同，若仅凭色调信息检测时会丢失大部分边缘。然而，用色调和饱和度不逡逑变量相结合的方法，如图３．４（ｅ）所示，可Ｗ将饱和度变化的区域边界都找到。逡逑３０逡逑

【相似文献】