机载光电成像精确几何校正与鲁棒拼接关键技术研究
第1章 绪论
近年来，无人机光电成像系统借助自身高分辨率、高实时性、机动灵活、成本低、研制周期短、风险小等优势受到了广泛的关注，不仅在空中侦察与打击一体化、反恐维稳、国土安全、边境巡逻、地雷探测等军用领域发展势头强劲，也在地质勘测、植被研究、土壤调查、精细农业、森林防火、林业普查、大气探测、石油管道监测、交通监控、城市规划、灾害预警、应急响应、野外搜救等民用领域得到了广泛应用[1-20]，如图 1.1（c），（d）所示。
在军用领域，无人机光电成像设备主要用于航空侦察、情报收集、作战评估、目标捕获、跟踪和定位、辅助激光制导、察打一体化等，其中分辨率和视场角是机载光电成像设备的两个关键技术指标，并且视场与分辨率之间存在相互制约的关系[1-7]。一般无人机飞行高度较低，，搭载的摄像机视场范围有限，为同时满足航空侦察任务大视场、高分辨率、高实时性的要求，机载光电成像设备应在不同时刻、以不同角度对地摄影成像，然后通过图像拼接技术将获取的多时相、多倾角航空图像序列合成一幅等效的宽视场、高分辨率图像。
同时，航空图像的斜视失真还会导致拼接图像中出现目标尺度和分辨率不一致问题[11,12]，例如对某林业普查作业拍摄的原始航空视频图像直接进行拼接，随着拼接图像数量的增加，得到的拼接图像中出现景物尺度越来越小、分辨率越来越低的问题，如图 1.3（a）所示；经几何校正后拼接，则有效地消除了拼接图像中的尺度畸变问题，保证了拼接图像中目标分辨率一致性和尺度正确性，如图1.3（b）所示。因此，必须对图像进行几何校正以保证拼接图像的质量。
......
本文题目为机载光电成像精确几何校正与鲁棒拼接技术研究，实际上几何校正是图像拼接的前提条件，是属于图像拼接技术流程中的重要组成部分，因此本文的研究内容将以图像拼接为主线进行论述。
1.2.1航空图像拼接技术的研究内容与技术流程
（1）航空图像预处理：主要包括几何校正和辐射校正两个环节。
（a）几何校正：一般无人机飞行条件复杂，受气流影响较大，飞行姿态不稳定，其输出的图像像幅较小、数量多、分辨率高、倾斜角大、旋转角大、尺度变化大、重叠不规则、背景复杂，存在由于摄像机镜头畸变、高空大斜视工作模式、不稳定的飞行条件和目标区域地形起伏引起的大量复杂几何失真[3-10]，因此必须对原始图像的几何形变进行校正处理，包括对航空斜视图像的梯形失真进行校正、对摄像机镜头的非线性畸变进行校正等，如果不进行图像几何校正直接进行拼接，可能会出现图1.2（a），图1.3（a）所示的拼接图像重叠区域像元错位和图像尺度不一致的问题。
（b）辐射校正：对辐射退化导致的图像亮度失真进行校正处理，包括大气校正、地形校正（去阴影）、色彩校正（白平衡）、图像对比度拉伸变换、直方图均衡化、直方图匹配、图像去噪、图像增强等[30-33]，一般不同天气条件下拍摄的图像亮度差异较大，如果不进行辐射校正处理，可能会出现图像拼接边界处亮度跳变不连续的现象和明显的拼接缝隙问题。
（2）图像配准：建立图像重叠区域中同名特征之间的对应关系，代入投影变换模型或仿射变换模型等图像变换模型中，求解出图像之间的空间变换关系。对于视频图像序列拼接，在求解出相邻两幅图像之间的变换矩阵关系后，还需要求解出各图像相对某参考图像（例如第1帧图像）的变换矩阵，将所有图像变换到同一参考坐标系下，并通过光束法平差、捆绑调整等技术减小拼接过程中的误差累积，实现多幅图像的精准拼接。
......
第2章 图像拼接的基础理论研究
图像变换模型是图像配准和拼接技术的理论基础，本章将从摄像机成像几何原理出发，对摄像机镜头畸变和投影失真的机理和特点进行分析，研究了摄像机运动和图像的空间变换模型两者之间的关系，阐述了图像八参数投影变换模型的存在条件和用六参数仿射变换模型来近似的相关条件。由于图像拼接是一个系统性的工程问题，涉及很多技术理论和数学模型，本章重点对与本文研究内容相关的一些理论和模型进行了分析和讨论。
当不考虑摄像机镜头畸变时，一般摄像机成像过程可用理想针孔成像模型进行建模[128,129]，该模型为线性模型，如图 2.1 所示。
从表 2.1 中可以看出，当摄像机的运动方式是平移、缩放和旋转运动的组合时，场景平面与摄像机像平面保持平行的关系，图像不存在形变的情况，如图2.4（a）所示；当摄像机发生水平扫动或垂直扫动（此时摄像机光轴与场景平面不垂直，即对目标场景进行倾斜拍摄）时，会出现透视投影失真现象，具体可分为两类：一类是摄像机水平扫动引起的梯形畸变，即现实 3 维场景中平行的直线在图像中会相交的现象，如图 2.4（b）所示；另一类是摄像机垂直扫动引起的线性调频现象，即图像的空间频率随场景空间位置的远近变化而增大或减小的现象，会导致场景图像内部出现物体尺度不一致的问题，如图 2.4（c）所示，使相邻图像重叠区域目标物体的尺度差异变大从而增大了图像拼接的难度，为保证拼接图像中目标尺度的一致性和正确性，也需要对其进行校正。线性调频也可视为场景空间远近方向的梯形失真，为方便讨论和阐述，本文将梯形畸变和线性调频统称为梯形失真。
......
上述针孔成像模型是在不考虑摄像机镜头畸变的前提下建立的，实际上由于成像系统本身的设计、加工、装调和环控等原因会使图像产生一定的非线性畸变，根据不同的畸变原因主要分为径向畸变、偏心畸变以及薄棱镜畸变三种类型[130,131]。
（1）径向畸变。径向畸变是由视场的实际垂轴放大倍率与光学系统的理想垂轴放大倍率不一致引起的，不同视场的实际垂轴放大倍率不同，畸变也不同，根据变形量的正负可分为枕形畸变和桶形畸变，如图2.2所示。
对于变焦距镜头，其径向畸变随焦距变化而变化，当处于短焦状态时，图像表现为桶形畸变，当处于长焦状态时，图像表现为枕形畸变，如图 2.3 所示。
从表 2.2 中可以看出，三参数欧氏变换模型可以描述摄像机的旋转和平移运动，四参数相似变换模型和六参数仿射变换模型可以描述摄像机的旋转、平移和变焦运动，八参数投影变换模型可以描述摄像机的旋转、平移、变焦、水平扫动和垂直扫动运动，可反映图像的梯形失真现象，它们均为全局变换和线性变换。而非线性变换模型包括多项式变换，指数变换，样条函数变换等模型，该类模型的自由度根据具体模型而定，部分非线性变换为局部变换，其中以多项式变换模型为典型，除了描述图像的各种线性变换外，还可以反映摄像机镜头的复杂非线性形变现象。
本文研究的图像配准与拼接算法，主要采用以投影变换模型为代表的全局线性变换模型来描述图像间的变换关系，但是理论上用八参数投影变换矩阵来描述图像间的坐标变换关系，是在特定场景环境条件下或者摄像机运动满足某种约束条件下才成立的[139-143]，具体来说有以下两种情况：
（1）静止 3 维场景：如图 2.6（a）所示，拍摄的场景为 3 维静止场景，摄像机绕其光学投影中心旋转拍摄，可进行除平移之外的旋转、变焦、水平扫动和垂直扫动等运动，例如将摄像机固定在一点对场景进行拍摄时，就可以视为静止3 维场景的情况。（2）平面场景：如图 2.6（b）所示，摄像机拍摄的场景为平面场景，并且场景中的物体均静止，此时摄像机的运动形式不受限制。
......
3.1 引言.........................................................47
3.2 航空变焦距光学系统的理想成像模型............................48
第4章 变焦距航空面阵CCD摄像机斜视成像几何畸变校正算法研究........75
4.1 引言.........................................................75
4.2 航空变焦距斜视成像几何畸变校正算法...........................76
第5章 机载光电系统多目标自主定位技术研究........................107
5.1 引言.......................................................107
5.2 机载光电平台多目标自主定位系统的构成及其工作原理............108
第7章 大视场图像拼接与地理信息融合技术研究
图像在经过配准以后，为了进一步得到拼接合成图像，还需要利用图像映射和插值技术，将待配准图像映射变换到参考图像坐标系中实现图像拼接。对于视频序列图像的拼接，通常是选定其中一幅图像的左上角作为参考坐标系原点，依次将其它所有图像变换到选定的参考坐标系上，实现序列图像的拼接，这种传统的逐帧（frame-to-frame）配准拼接方法存在图像拼接误差随图像数量的增加而累积变大的问题，采用光束法平差、捆绑调整、直接稀疏 Cholesky 分解方法、支持向量机、卡尔曼滤波方法等全局最优配准方法来获得最优变换矩阵[120-122]，可以在一定程度上减小多帧图像拼接时的累积误差，但在一些实际应用场合（如航空侦察与应急灾害），采用全局配准方法又无法满足实时性要求。由图像配准误差导致重叠区域未完全对齐，会出现拼接缝隙问题；不同天气和光照条件下拍摄的图像存在较大的亮度差异，以及图像几何校正中的亮度重采样误差，会导致在拼接边界处出现图像亮度跳变的现象，也会出现明显的拼接缝隙问题。因此，需要采用图像融合技术对图像重叠区域进行处理，以减小或消除配准误差和图像亮度差异对拼接结果的影响。
本章针对上述问题进行研究，首先分析了几种经典的图像融合方法的优缺点，然后结合航空图像拼接的特点选择渐入渐出法进行图像融合；针对序列图像拼接误差累积变大问题，提出两种方法来解决：
（1）先对图像进行几何校正预处理，根据GPS/IMU系统提供的位置姿态数据，利用机载光电系统目标定位算法得到图像4个顶点的地理坐标，确定图像拼接次序和重叠区域，对校正后的图像进行粗配准，然后再利用图像配准算法对重叠区域图像进行精配准，最后采用图像融合技术对重叠区域进行处理，实现图像的快速精准鲁棒拼接；
......
第8章 结论与展望
无人机光电成像设备在军用和民用领域都得到了广泛应用，其中变焦距航空摄像机作为机载光电成像测量系统的重要组成部分，对目标既能作大视场小倍率的概观，又能作小视场大倍率的详细观察，具有像面位置稳定、在视场转换中不丢失目标等优点，能对快速运动目标进行搜索、捕获和定位功能。图像拼接技术能够很好地解决摄像机视场角与分辨率相互制约的问题，是机载光电载荷数据处理与情报分析系统中的关键技术之一。受航空变焦距光学系统本身的设计、制造、装调和环控因素以及机载成像环境的影响，航空图像发生严重几何变形和模糊退化。因此，本文针对航空图像自身的特点以及图像拼接技术的研究现状，对机载变焦距可见光摄像机图像几何校正与鲁棒拼接系统中的几项关键技术进行研究，完成了航空变焦距镜头非线性畸变的快速校正、高空大斜视图像几何失真校正、机载光电成像系统多目标定位以及航空模糊图像的精确配准算法研究，主要研究内容概括如下：
（1）讨论了摄像机的理想针孔成像模型，摄像机镜头畸变模型，摄像机的运动模型及图像空间变换模型等图像拼接领域的经典模型和基础理论，分析了摄像机镜头畸变和斜视梯形失真的机理和特点，阐述了摄像机的运动和图像的空间变换模型两者之间的关系，分析了图像八参数投影变换模型的存在条件和用六参数仿射变换模型来近似的相关条件，并介绍了图像几何校正与配准拼接的相关评价方法。
......
参考文献（略）
本文编号：239513
本文链接：https://www.wllwen.com/wenshubaike/caipu/239513.html
