无人机视频流影像快速拼接方法研究

发布时间：2017-12-30 20:29

本文关键词：无人机视频流影像快速拼接方法研究　出处：《中国矿业大学(北京)》2017年博士论文　论文类型：学位论文

【摘要】：无人机作为一种新兴的航空遥感平台,具有起航快、操作灵活、成本低的特点,机上搭载的数码相机、数码摄像机可以获取高分辨率影像,通过对影像的处理可以满足绝大多数用户在航空拍摄与目标监控方面的需求。但是无人机获取的影像存在航高低、像幅小的特点,无法反应摄区的整体情况,在应急救灾时,往往不能满足地面对信息的需求和应用,因此,需要利用影像拼接技术来提供摄区的完整信息。其中由无人机搭载的数码相机获取的影像大多分辨率较高、单幅影像较大,在飞行过程中无法实时下传,只能等无人机返航以后对影像数据进行拼接处理,在应对重大自然灾害时,不能迅速获取灾区的完整信息并采取救急措施。由无人机搭载的数码摄像机,可以利用无线传输技术将视频实时下传,视频影像具有帧幅小、分辨率低、数据量大、冗余度高的特点。因此,为满足突发事件和灾害发生时的应急需求,快速获取拍摄区域大范围的影像,研究大范围长航时的视频流拼接技术具有重要的现实意义和应用需求。但是无人机机身轻、运动特性复杂,容易受到外界环境的影响,造成无人机获取的视频往往会存在一定的抖动、模糊等情况,因此,一般不能直接利用视频流进行拼接处理,需要提取既能保证帧间重叠度又能体现图像信息的视频帧,并进行几何纠正、去除噪声等预处理。此外,为了扩大视野,无人机获取的视频一般都是倾斜拍摄,直接利用视频流影像进行拼接会导致同一航带的拼接结果产生变形,并且这种情况会随着视频流影像数量的增多而使累积误差加剧。而在拍摄不同航带时,摄像机不同的倾斜方向会导致视频流影像完全相反的变形,使得很多原本有效的匹配算法其匹配数量和精度都会出现不同程度的下降,即使有些算法具有较高的鲁棒性,利用匹配点对也无法得到正确的帧间模型,直接对航带进行拼接将严重影响拼接质量,甚至导致拼接结果产生剧烈的错位。本文对国内外无人机视频流影像的拼接技术进行了深入的研究与学习,针对无人机视频流影像的特性,分析了无人机视频流影像拼接过程中各关键技术的特点,重点对无人机视频流的自适应关键帧提取与影像纠正、无人机视频流影像快速配准以及无人机视频流影像拼接误差分析与优化展开研究,主要研究工作及成果总结如下:(1)为了减小了视频流拼接的冗余度和计算量,针对无人机视频流影像帧率高、帧间重叠度大的问题,提出了一种自适应的关键帧提取方法,该方法根据无人机提供的数据和摄像机传感器等数据,在给定影像重叠度的情况下可以自动调节提取关键帧的时间间隔。(2)针对倾斜拍摄的无人机视频流影像旋角大、影像变形严重的问题,提出一种基于INS的倾斜影像纠正方法。该方法首先讨论了无人机遥感影像处理过程中常用的坐标系统,明确图像坐标系和导航坐标系的变换关系,然后利用无人机获取的INS姿态角,恢复倾斜影像拍摄时的真实姿态,并根据摄像机成像原理与数学几何关系计算倾斜影像的纠正模型,最后利用间接法对原始影像重采样,将倾斜影像快速纠正为近似正摄影像,保证拼接影像的质量。(3)针对ORB算法特征点提取过程中存在的特征点坐标精度差,构建特征描述子需要对图像集合进行机器学习,二进制描述子匹配不具有普适性等不足和缺陷。通过研究构建影像金字塔的尺度因子和降采样率的关系,确定底层影像的图像大小与影像尺度,使提取的每个特征点都具有亚像素的精度,并通过实验分析确定了构建描述子的最佳邻域范围和对比时选取的最佳像素个数,最后提出了一种基于查找表的匹配方法,并通过实验证明了该方法的正确性和有效性。(4)为了减小误差累积对拼接影像的影响,引入稀疏光束法平差,提出一种局部最优的拼接方法。该方法利用Levenberg-Maquardt算法最小化投影误差的稀疏结构,针对无人机视频流拼接的误差问题,在对视频流拼接过程中动态选取基准面,并保证每次变换基准面时已经拼接的影像都具有局部最优的特性,最后以航带中间帧作为最终基准面,完成视频流的拼接,并通过与卫星影像叠加对比验证该方法的正确性与精度。(5)无人机视频流影像处理的过程包含了关键帧提取、倾斜影像纠正、特征提取与匹配、影像融合等步骤,随着拼接的进行,影像会越来越大,因此,本文利用CUDA技术对上述过程进行并行加速,并在各章节与CPU串行时间作对比,验证了GPU对图像处理加速的有效性和正确性。
[Abstract]:As a new kind of aerial remote sensing platform , the unmanned aerial vehicle has the characteristics of fast navigation , flexible operation and low cost . An adaptive key frame extraction method is presented in this paper . ( 5 ) The process of image processing of UAV video stream includes the steps of key frame extraction , oblique image correction , feature extraction and matching , image fusion and so on . As the splicing proceeds , the image will become more and more large . Therefore , this paper makes parallel acceleration of the above - mentioned process by using the same technique , and compares it with CPU serial time in each section , and verifies the validity and correctness of the GPU to image processing acceleration .

【学位授予单位】：中国矿业大学(北京)
【学位级别】：博士
【学位授予年份】：2017
【分类号】：TP391.41;P237

【相似文献】