基于多摄像机的360度全景图像拼接技术研究

第一章 绪论

1.1 课题背景及研究意义
图像拼接技术在现在军事和工业中越来越多地得到应用和开发。图像拼接技术是首先在国外提出来的，它主要是为了满足摄影爱好者对当时的摄像器材要求不断提高，采用普通的相机进行图像拍摄时，由于相机的视场角比较小，无法完全捕捉到全部的场景。一般普通摄像机的视场角都是有限制的，在水平和垂直方向视角都一般在 70-90 度范围以下。但是，通常我们人眼的水平视角在 90 度左右，垂直视角大概为 70 度，若眼球在小范围活动，那么视场感知范围会远大于这个范围，几乎接近覆盖正面 180 度的球面。假如采用普通相机获取宽视场照片，就必须增大焦距，但增大焦距就带来了图像严重畸变和图像分辨率快速下降，对于在平时使用中，这种低分辨率和严重畸变图像是无法满足人们对高质量图像的需求，不过图像拼接技术能够很好地解决了视场角和图像质量之间的矛盾。图像拼接的目的是为了将两幅或者多幅相互之间具有一定重叠区域的图像序列拼接成一幅具有宽视场角和高分辨率的高质量图像，并且保证得到的图像保留原始图像序列的细节信息。伴随着计算机、电子技术的迅速发展，整个处理器计算速度和存储量都有飞速增加，可以满足计算机视觉技术实现。图像拼接技术作为图像处理、计算机视觉的一个重要研究方向，已广泛应用于无人机军事侦查、机器人视觉系统、医学图像处理、监控视频等领域。图像拼接技术的几个重大的优势主要体现在：1）、增大光学系统的视场角（FOV）；2）、方便图像的分析和编辑；3）、提高视频图像的分辨率；4）、虚拟现实[1]。2006 年德国军用无人机公司 EMT 开发和生产了一款新的 LUNA 小型无人机，在这个无人机摄像头上，它集成了自动图像拼接功能，可以把由单目摄像机拍摄的图像序列拼接生成立体的拼接图像，并根据拼接图像之间的视差构建深度图像，来实时获得地面地理信息[2]。2007 年，Wu Jun 等在无人机上根据采集到的地理图像信息来拼接得到动态的全景图像[3]，并把这项功能用到火灾和救援中，加快了救援速度和减少财产的损失。
.......

1.2 图像拼接技术国内外研究现状
数字图像拼接技术的发展从 20 世纪 70 年代开始深入，现在经过几十年的研究，已经开始慢慢趋于成熟，它在计算机视觉上一直是一个比较火的研究方向。在国内，王小睿[6]等人在 1997 年提出了根据图像之间互相关性确定它们之间匹配的平移量，然后对图像在水平或者垂直方向进行相应平移达到匹配后的效果。2001 年，清华大学的漆驰[7]等人提出了通过摄像机绕垂直轴旋转采集图像，对采集得到的图像序列拼接得到圆柱面的全景图像，该算法无需校准摄像机和转角。2005 年，候舒维、郭宝龙对经典的灰度级配准算法进行了改进，提出了一种新的图像配准的算法，然后对图像进行拼接和融合，该算法在特征块选择方面，通过对图像进行分割提取其边缘信息，在特征块搜索匹配策略，采用分层搜索，在图像拼接的速度和精度上达到平衡[8]。2006 年，朱云芳等提出了一种对视频序列进行全景图拼接的算法，本算法主要指利用特征点匹配的算法计算摄像机运动的仿射变换的各个参数，同时对误匹配的特征点采用随机抽样一致性（RANSAC）不断更新模型中内点和外点，最后只保留内点达到对匹配结果的提纯，然后根据运动参数模型进行重新投影，最后她利用不同视频帧估计运动物体的位置，最后得到高质量的全景图像[9]。2007 年，杨占龙、郭宝龙针对特征匹配的传统图像拼接方法对旋转和噪声敏感的问题，提出了基于兴趣点伪泽尼克矩的图像自动拼接技术，该算法先检测出图像中的 Harris 角点，然后计算兴趣点邻域伪泽尼克矩欧式距离进行特征点匹配，再进行特征点提纯，然后采用几何变换对图像进行变换和图像融合得到最终的拼接后的图像，该方法对平移、任意角度的旋转以及噪声均具有鲁棒性[10]。2011 年牟聪翀在其论文提到一种基于显著图提取的 sift 配准和 surf 配准算法，其在配准精度和速度都有很大的提升。
........

第二章 多摄像机全景拼接系统的平台设计和摄像机标定

2.1 多摄像机全景拼接的平台设计
对于 360 度全景视频拼接来说，必须考虑摄像机的个数和相邻两个摄像机的重合区的大小。在进行多摄像头的拼接时，为了保证图像配准更加的稳定和可靠，必须设计两个摄像机的重合区大小为图像的大小的 1/3 以上（对于我们的多摄像机系统，为了简化系统的配准的复杂度，设计所有的摄像机在同一个水平面上，所以实际上为图像宽度大小的 1/3 以上）。在保证重合区的要求下，采用普通的没有图像畸变的 web camera 的视角范围为 30-60 度的摄像机，那么就需要 10 个以上摄像机，这对于图像拼接是比较大的工程和复杂度；采用有图像畸变的视角范围为 120 度以上的摄像机，那么只需要 4-5个摄像机，这样大大地减少了图像拼接的算法实现。同时，我们设计成 5 个摄像机安装在正五边形对应的面上，这样可以保证相邻两个摄像机的基线的长度保持在很小的范围（基本可以认为相机之间是纯旋转模型），从而可以假设利用纯旋转的运动模型来建立相邻相机的变换关系，减少整个系统的复杂度。不过实际摄像机之间还是存在平移，所以拍摄的图像之间还是存在视差。但是本系统可以把视差固定在很小的范围内，在后期的图像配准和融合中消除视差。我们最后设计的硬件平台如图 2-1 所示。
.......

2.2 图像的畸变矫正
畸变矫正算法经过几十年的研究，已经基本趋于稳定。目前用的比较多的两种方法，一种是基于畸变模型进行畸变矫正，一种是利用非线性迭代求出最优解的方法。两种算法都有优缺点，畸变模型的畸变矫正，，算法简单，操作方便，但是畸变矫正的效果受固定的畸变模型的影响，对一些特殊图像或者不符合畸变模型的畸变图像的效果不是很明显。非线性迭代算法却可以解决这一矫正效果不理想的情况，其矫正结果不受图像的影响，但是其比较突出的缺点是迭代的过程时间比较长且有些时候无法收敛，这对于视频处理情况下是绝对不允许的。所以本文采用基于模型的畸变矫正算法。目前基于模型的畸变矫正算法主要涉及模型确定和畸变系数求取两个步骤。其中，畸变模型有高阶多项式模型[20]、除法模型[21]、鱼眼模型[22]和比例函数模型[23]。其中，高阶多项式模型是目前比较成熟，计算速度比较快的算法模型，本文主要是基于上述模型进行的图像畸变矫正，并且在图像畸变矫正时，一般切向畸变影响比较小，可以忽略，只考虑径向畸变。在计算图像的半径的时候，一般都利用到畸变中心（即光心）。但是在有些文章中直接把图像中心作为畸变中心，这是不准确的，它必须根据实际情况进行计算。在本文中提到一种利用图像几何原理计算光心的快速计算方法，并且实验效果很好。在求取畸变系数算法常用直线拟合、非线性迭代等算法。本文采用更加准确的非线性迭代来（LM 迭代算法）来计算畸变系数。计算出畸变模型后还需生成映射坐标，然后利用映射坐标，采用双线性插值或者双三次插值得到畸变矫正以后的图像。
......

第三章 基于多摄像机系统的配准问题......... 16
3.1 图像配准的基础知识 ...... 16
3.2 直接基于像素图像匹配 ........ 20
3.3 基于特征点的图像匹配 ........ 23
3.4 利用改进的图像配准方法 .... 31
3.5 本章总结 ........ 32
第四章 基于多摄像机系统的图像融合问题....... 33
4.1 图像预处理 .... 33
4.1.1 曝光补偿 ...... 33
4.1.2 暗角校正 ...... 34
4.2 基于多频段的最佳接缝的图像融合 ...... 36
4.3 最佳接缝算法进行图像融合 ...... 38
4.4 多频段图像融合 ........ 39
4.5 多频段和最佳接缝结合的图像融合 ...... 41
4.6 本章总结 ........ 42
第五章 基于多摄像机系统的全景拼接系统的实现....... 43
5.1 全景拼接系统前图像调整 .... 43
5.2 多摄像头全景拼接系统方案和实验结果 .... 47
5.3 本章总结 ........ 53

第五章 基于多摄像机系统的全景拼接系统的实现

5.1 全景拼接系统前图像调整
本文的前面章节对全景图像拼接的各个模块进行了研究，提出了一些新的解决拼接中遇到的问题。本章主要介绍在多摄像头视频全景拼接时，整个系统构建的解决方案。本节内容就全景图像拼接的投影模型进行了简要介绍。对图像进行拼接以后，需要把图像投影到一个比较合适的面上，适应不同的需求。常用的投影模型有平面投影、柱面投影[42]、球面投影[43]及极坐标投影等模型。在本文中，采用的是共轴的五个摄像机拍摄的视频进行全景拼接，所以适合采用柱面投影的模型，下文重点讲柱面投影在本系统的实现过程。柱面投影的建模过程是将一幅 sensor 平面的图像投影到柱面上的过程。在前面的引用文献中，已经对柱面投影进行了详细的介绍。但是由于本系统有畸变存在，所以下本主要对如何在畸变的情况进行柱面投影过程。如图 5-1 所示。以圆柱体的中心和高度 H/2 为坐标原点，以水平向右为 X 轴正方向，圆柱体的高方向向上为 Y 轴正方向，和 X 轴垂直的方向为 Z 轴方向建立世界坐标系 O。同时，以世界坐标系 Y 轴为对应的'Y ，以柱面的弧面为'X 坐标方向，建立柱面二维坐标系。

总结

全景图像拼接是计算机视觉领域一个研究比较成熟的课题，现在很多商业软件已经集成了全景拼接功能，最新的手机、无人机上也推出了全景拍摄。在全景拼接越来越流行的今天，其实还是有很多的缺陷，首先这些拼接只有在高质量的视差比较小的场景，其全景图像质量才比较理想。其次这些商业软件进行全景拼接都需要消耗很长时间，一般只能对于离线的图片进行拼接，而且需要图像的分辨率比较高，对于比较恶劣的条件，很多情况是无法拼接的。因此，对于实时的 360 度全景视频拼接系统仍然是一个非常值得深入研究且具有挑战性的课题。本文是在前面师兄已有系统平台进行全景拼接算法上进行研究和实现，原有的已经完成整个系统的搭建，能够拍摄出全景图像。但是有很多地方不是很理想。在此基础上，我重新进一步完成了一些新的工作：
1、本文分析了四摄像机系统的情况，发现四镜头系统很难保证相邻两幅图的重合区的大小，如果采用超广角镜头，图像的畸变会很严重，进行畸变校正后虽然可能校正成好，但是边界重合区的信息会丢失比较多，不利于后面图像配准。所以考虑了上述的不利因素，本文重新增加了一个摄像机，采用五摄像机系统。
2、在畸变校正模块，对原有的两步校正算法进行了改进，模仿对极几何算法计算畸变中心和无畸变图像直线性质计算畸变系数，最后采用拟合畸变比率算法拟合计算出映射表，替换了原来的手工调节畸变系数和畸变中心步骤，加快映射表生成时间和准确性。
............
参考文献（略）