基于全景影像序列的球面立体视觉多视图几何模型研究

发布时间：2018-11-12 15:40

【摘要】：按照计算机球面立体视觉的多视图几何约束原理所构建的虚拟球面成像模型,本文称之为球面立体视觉多视图几何模型。基于多视几何理论的球面立体视觉系统的本质性研究工作,就是构建基于全景影像序列的球面立体视觉多视图几何模型。本文在对计算机立体视觉的理论基础、基本矩阵和三焦点张量的稳健性估计、基于多视图几何约束的像点匹配算法研究、基于多视几何约束的非线性畸变校正、基于影像序列的相机自标定等相关基础理论分析、算法模拟及实验评定的基础之上,以全向多镜头组合型全景相机所获得的全景序列影像为研究对象,以球面立体视觉理论为出发点,从“物理成像模型、几何约束模型、数学参数模型、系统误差模型和误差传递模型”五个方面系统性地论述与构建了基于全景影像序列的球面立体视觉多视图几何模型。同时,提出了一种基于全景影像序列的球心矢量算法(GV),完善并丰富了球面立体视觉系统的理论内涵与外延应用范畴。最后,针对OMS型全景相机,以球面立体视觉多视图几何模型为基础,在理想全景球面成像模型下,以球心矢量算法为主线,实验验证了70帧全景序列影像的投影重构算法的有效性,生成大量点云数据并最终实现了真实场景空间目标的三维重构。本文依此所做的主要工作和主要结论如下:(1)从射影几何变换、立体相机成像模型及多视图几何理论为出发点,详细阐述了计算机立体视觉的理论基础。重点对计算机立体视觉中最重要的核心理论—多视图几何理论进行了论述,为后续章节的基本矩阵和三焦点张量稳健性估计问题、基于多视几何的像点匹配算法、球面立体视觉多视图几何模型的构建、球心矢量算法的估计以及基于序列影像的三维重构等问题提供了相关理论依据。(2)从几何基础和稳健性估计算法两方面出发,详细阐述了作为计算机立体视觉理论关键性的多视图几何—基本矩阵和三焦点张量。在讨论基本矩阵和三焦点张量的常用估值算法的基础之上,进一步研究了两视和三视几何约束下的基于RANSAC算法的鲁棒性稳健估计,给出了对应的归一化7-点RANSAC鲁棒性估计算法(基本思想、算法的具体步骤和计算伪码),并进行了相关实验评定。结果表明,基于两视、三视几何约束下的RANSAC鲁棒性稳健估计算法是稳定且有效的,平均对极距离和平均余差均小于0.5个像素(达到亚像素级)。这是由于多次使用RANSAC算法能够大量剔除误匹配的“外点”,使其估算精度较高,因此在后续章节的相关研究中选为首选算子。(3)介绍了三种特征点提取算子:SIFT、SURF和ORB算子;为兼顾SURF算子的高匹配精度和ORB算子的高时效性特点,本文提出了一种新的基于影像金子塔策略的特征点快速匹配算法,并给出具体的实现步骤与算法流程图。同时,基于LADYBUG第0号子相机的连续两帧影像,按照匹配评价准则对各个算子进行综合评定。实验表明:SIFT算子的匹配精度最高、时效性最差;ORB算子的时效性最高,但匹配精度最低;基于影像金子塔策略的匹配算法和SURF、SIFT算子的精度相当(AED相差不到0.1个像素)且耗时最短。因此,考虑到基于海量序列影像的批处理操作时,本文提出的基于金字塔策略的快速匹配算法不失为一种较为优秀的高效实用的算法。(4)对子相机序列影像进行了初始匹配点集的获取工作之后,进一步给出了基于基本矩阵的两视匹配和基于三焦点张量的三视匹配,并结合RANSAC算子给出了具体的鲁棒性估计的算法步骤,同时对各自算法的匹配精度进行实验评定。其中仿真实验表明,基本矩阵F估计的平均余差会随着匹配点数的增加而越来越小,当点数大于40个时,平均余差的减少已不太明显。因此,两视影像间的匹配点数应尽量大于40对。(5)考虑到图像畸变对特征点提取与匹配精度的影响,针对三焦点张量T与非线性畸变系数的内在耦合关系,本文提出了一种新的基于三焦点张量T的三视图几何约束相机畸变差自动校正算法,并给出了算法的基本思想、自动校正流程图以及该算法的计算伪码。针对第0号子相机的连续两帧/三帧影像,分别运用基于F的和基于T的畸变差自动校正算法,实验表明,(1)这两种畸变校正算法均是有效的。(2)基于T的畸变差自动校正算法,其畸变校正后的平均对极距离和平均余差均小于基于F的畸变校正后的结果;说明,本文提出的基于三焦点张量T的畸变校正算法优于基于基本矩阵F的校正算法。这是因为,在求取跨三视影像内点集的过程中多次使用RANSAC算子,此时跨三视的内点集的匹配精度要比两视下的要高很多,因此相应求取的12K,K精度也较高。(6)考虑到基于三视几何约束下特征点的匹配精度对相机自标定结果的影响。基于第0号子相机的连续三帧序列影像,分别采用基于绝对对偶二次曲面的相机自动标定算法和基于传统的标定法以获取两者的标定内参数,同时分别进行基于这两种标定方法的三维重建点的仿真实验,以评价自标定重建点的相对误差精度。仿真结果显示,所有的自标定三维重建点的相对误差大部分在8%以内,少数点在10%左右。实验表明,通过自标定方法得到的相机内参数与传统标定结果相比较,其吻合度和精度较为适宜;虽然存在一定的瑕疵,针对子相机序列影像的海量批处理而言,对于三维重建结果精度要求不太高时,可以适用自标定方法。(7)以OMS型全景相机所获得的全景序列影像为研究对象,以球面立体视觉理论为出发点,从“物理成像模型、几何约束模型、相关数学参数模型、系统误差模型、误差传递模型”五个方面详细论述与构建了基于全景影像序列的球面立体视觉多视图几何模型。具体的来说,①从虚拟球面立体视觉模型、投影模型、坐标系统、拼接误差、不共面偏差等方面构建了物理成像模型。②针对虚拟全景球面立体视觉模型,从单视图几何、双视图几何和三视图几何的内在约束关系出发,构建了球面立体视觉的多视几何约束模型。③从OMS全景相机的物理几何结构出发,分别从通用鱼眼镜头内部参数数学模型和外部参数数学模型两方面,构建了球面立体视觉的数学参数模型。④在总结前人的理论成果之上,推导并建立了理想全景球面成像模型与严格全景球面成像模型。基于单光线下理想全景球面的投影模型,推导并修正了最终的像方投影误差方程。同时分析了理想球面成像模型的系统误差来源,并得出其误差分布律。⑤针对像点的误差如何影响空间点三维重建的精度问题,分别推导了“像点的协方差矩阵、球面坐标的协方差矩阵、基本矩阵的协方差阵、三焦点张量的协方差阵、三维重建点的协方差阵”,以此尝试构建了基于协方差矩阵的误差传递模型。(8)基于理想全景球面成像模型与针孔相机成像模型的比较,提出了基于全景球面影像序列的投影重建概念,并详细推导其重建过程。同时,基于理想全景球面成像模型,提出了一种基于全景球面影像序列的球心矢量算法(Gnomonic vector,GV),并给出了GV算法的概念、核心思想、具体算法流程步骤和算法的计算伪码。同时,进行基于基本矩阵和三焦点张量的影像匹配算法的研究,以及基于三视几何约束下的球心矢量算法的实验性验证。相关数学仿真实验和真实数据试验表明:采用球心矢量算法,将重建的三维空间点重投影并进行特征点的坐标比对,得到的精度评定结果为:标准差为0.53pix。结果表明,本文提出的球心矢量算法,对基于全景影像序列的三维重建能够得到亚像素级的重投影误差精度。(9)基于两视全景影像,SIFT算子与基于影像金字塔策略的特征点快速匹配算法相比较,本次实验表明,(1)原始待处理全景影像序列的帧数不多且需要较多的精匹配点数时,考虑采用SURF算子;(2)考虑到海量序列影像的批处理操作且对精匹配点数目要求不高时,本文提出的基于金字塔策略的匹配算法不失为一种更好的选择(10)基于MATLAB和LadybugSDK构建相关算法的验证平台,运用本文提出的球心矢量算法,对70帧全景球面的影像序列实现了三维场景空间点的三维重构,得到了大量的点云数据并对其进行三角剖分、网格化模型处理和纹理贴图,最终得到真实场景的三维重构结果。
[Abstract]:......
【学位授予单位】：中国矿业大学(北京)
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP391.41
，

本文编号：2327534