面向车辆环境感知的动态图像拼接与重建技术研究

发布时间：2020-07-10 05:40

【摘要】：面向车辆环境感知的动态图像拼接与重建技术,是在城市道路中对该车辆周围的汽车、行人及障碍物进行检测,通过车载相机获取有重叠部分的序列图像,运用图像拼接技术和三维重建技术,对获取的序列图像进行车辆周围二维和三维环境重建,生成车辆运行环境全景图,以帮助驾驶员更好地认知车辆运行环境,实现行车安全。基于视觉传感器的图像拼接与环境重建技术研究,已成为智能汽车领域研究的热点,具有重要的理论意义和应用价值。本文针对序列图像拼接算法及车辆环境重构技术展开研究,提出了基于平面区域判定的序列图像拼接算法和基于平面区域分割的三维环境重建算法,设计了面向车辆环境感知的序列图像拼接与重建系统,实现了车辆周边环境感知以及车辆在环境中位置的测量。仿真实验和实车测试验证了本文算法的优点和有效性。本文的研究工作内容如下:概述了面向车辆环境感知的动态图像拼接与重建技术研究背景和发展现状,分析了目前车辆环境感知中图像拼接与重建存在的问题,提出了本课题的研究目标。针对现有的动态图像拼接算法存在计算量大、效果难以满足实际要求等问题,本文根据城市道路环境下车辆环境感知的实际需求和二维路面图像特征点的特性,研究了平面区域逆投影变换下图像平面特征点之间关于车辆坐标系运动的距离不变性,提出了车辆环境平面区域的判定方法。在此基础上提出了基于平面区域图像特征点三角匹配的车辆运动矩阵估计的快速算法,实现了车辆运动图像的快速拼接和车辆周围二维环境重建。仿真实验表明,本文设计的算法能满足车辆环境感知的实际需求且具有实时性。针对车载相机序列图像中具有相对稳定的平面区域的特点,本文提出了一种基于平面区域判定和分割的车辆环境三维重建快速算法。该算法利用平面区域图像上特征点进行车辆运动估计,对平面区域图像直接进行逆投影变换和二维图像生成,对非平面区域图像应用SLAM(即时定位与地图构建)技术生成三维点云。仿真实验表明了本文算法有效地提高了车辆环境感知的精度和本文算法的有效性及适用性。本文设计了面向车辆环境感知的动态图像拼接与重建仿真实验软件平台,并将本文所设计的相关算法应用于实车测试,验证了算法在车辆环境感知工程应用中的有效性,从而为智能车高级辅助驾驶系统(ADAS)的设计奠定了良好的技术基础。总结课题研究工作,并给出课题未来的展望,为后续课题的研究提出新的思路。
【学位授予单位】：重庆邮电大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP391.41;U463.6
【图文】：

相机,成像,世界坐标系,坐标系

(1) 世界坐标系。世界坐标系的定义是为了更好地描述相机的放置位置及三维空间中物体的位置。世界坐标系可任意定义，一旦定义之后就不能改变，如图2.1中的W-XYZ。(2) 相机坐标系。相机坐标系的原点是相机的光心，X轴、Y轴分别与图像坐标系的x轴、y轴平行，Z轴为坐标原点沿光轴的方向。如图2.1中的C-XcYcZc所示。(3) 图像坐标系。相机光轴与成像平面的交点定义为图像坐标原点，图像坐标的x轴和y轴分别是成像平面的两条垂边。其单位为毫米，如图2.1中的o-xy。(4) 像素坐标系。像素坐标系的坐标原点在成像平面的左上角，u和v分别平行于图像坐标系的x轴和y轴，其单位为像素。如图2.1中的uv。图 2.1 相机成像相关坐标系

小孔成像

[35]。在不引起歧义的情况下，也可认为图2.2也是针孔模型。假设三维世界中的一点 , , TP X Y Z，相机的焦距为f，根据相似三角形的关系可得到成像点 , Tp fX Z fY Z，整理得到公式(2.1)：fXxZfYyZ (2.1)图 2.2 小孔成像空间点在相机成像中最终得到的是一个像素，需要对像平面进行采样和量化，最终得到成像点x的像素坐标( u , v )。像素坐标系原点在图像左上角，u轴与像平面x轴平行，v轴与像平面y轴平行。实际上像素坐标系与成像平面存在一个比例因子和坐标系原点的平移。假设像素坐标在u轴和v轴分别缩放了倍和倍，坐标系原点平移了( , )x yc c

参数标定,相机,世界坐标系

该方法从不同视角拍摄标定物，然后提取标定物上的角点，通过非线性优化算法计算出相机参数。相机标定中使用的标定物如图2.3所示：图 2.3 相机参数标定所使用的标定物相机标定需要设定世界坐标系的位置，为了计算方便，假设世界坐标系的原点是标定板左上角第一个内角点[38]。由于标定板上所有特征点的Z坐标为0，则标定板上的特征点和其成像点之间的关系可以用公式(2.5)表示： 1 2 3 1 201 11 1X Xu XY Yz v M R t M r r r t M r r t YZ (2.5)将公式(2.5)简写为：

【参考文献】