基于尺度空间的无人机影像实时稳像方法研究

发布时间：2020-09-25 19:06

　　无人机作为新兴航空检测平台,以成本低、灵活高效为特点,可以方便地采集视频数据。其在侦查监控、全景拍摄、救援搜索和自然资源监控等领域,有广泛的应用,逐渐成为各国研究的热点。无人机在飞行过程中,由自身机体或自然环境引起的抖动会严重影响拍摄效果,降低所拍摄资源的价值。并且很多拍摄资源具有时效性,需要及时地获取有效的航拍视频以方便后续研究和使用。因此,快速实时的数字稳像技术有很好的应用前景。数字稳像的过程主要包括运动估计、运动滤波和运动补偿。本文依据立体几何模型、图像匹配和迭代滤波等技术,提出了一种稳定高效的实时数字稳像方法。该方法在传统的稳像原理和实现方法上,结合无人机航拍特点和实际拍摄环境,以视频当前帧的前一帧为基准进行稳像处理,从第一帧开始用迭代方式计算达到流畅稳定的效果,将改进的AG AST(Adaptive and Generic Corner Detection Based on the Accelerated Segment Test)算法与改进的自适应Kalman滤波器相结合,实现了无人机航拍视频的实时稳像。文本的主要工作有:(1)提出使用改进AGAST算法的运动估计方式,增加尺度不变能力,可以检测尺度空间上的图像特征点。经实验发现,数字稳像的算法耗时主要在运动矢量估计。AGAST算法基于图像的静态结构特征,利用二叉决策树判断是否为特征点,相比于传统的特征提取算法其计算速度极快。由于AGAST算法本身不具有尺度不变性,难以感知不同距离的同一特征,不能很好地适用于无人机视频图像的特征检测。本文结合了高斯尺度金字塔,由高斯算子LoG(Laplace of Gaussian)创建尺度空间,在每一层上计算AGAST特征,使其具有尺度不变性、旋转不变形和光照不变性。使用预处理模板提前过滤非特征点,加速检测过程。利用FREAK(Fast Retina Key Point)模板做二进制编码的特征描述,相比传统的多维向量特征描述方式,二进制描述方法计算和特征匹配速度更快。然后使用汉明距离配对特征点,结合仿射变换模型估算帧间运动方式。(2)利用RANSAC(Random Sample Consensus)准则剔除误匹配点,精简匹配点集合,实现高效准确的运动矢量估计。精准的运动矢量估计可以方便后续迭代计算,适合于实时计算。无人机航拍视频范围大,视角广,每一帧内含的信息量多,基于二进制描述符的汉明距离匹配方式会产生误匹配点。为了保证匹配准确性和计算速度,同时分离前景区域和背景区域,采用RANSAC算法剔除误匹配点和多维相似匹配点,排除图像噪声的干扰提升运动估计的速度和精度。(3)为了防止滤波发散现象,提出自适应的Kalman滤波器平滑视频运动曲线,获得稳定的稳像结果。运动矢量包括主动运动分量和抖动分量,可以把抖动分量看作一种噪声干扰,使用Kalman滤波滤除抖动矢量,得到无人机主动运动矢量。Kalman滤波是基于运动连续性的时域滤波器,以时序迭代的方式计算,不需要历史信息记录,尤其适合于实时处理。但在实际应用中,对状态噪声的估计不足容易产生误差,这种误差的累积会导致严重的发散现象,影响整个视频的稳像效果。通过时变噪声估计器,用新息序列判断滤波器状态,实时地计算并修正噪声方差矩阵,以达到自适应的效果。可以有效规避发散,收敛滤波器,输出稳定的视频序列。经实验表明,与传统的特征检测和运动滤波方法相比,本文算法效果显著,在连续视频序列处理时能稳定有效地消除视频抖动、鲁棒性强,可以有效地应用于无人机航拍视频的稳像处理,并且计算速度快,能够有效地应用于实时处理系统。在无人机广大的应用背景下,如地震救援、天气预警、森林火灾防控和植被观测等方面,该稳像算法有广泛的应用市场。
【学位单位】：东北林业大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TN713
【部分图文】：

稳像,数字

２．１数字稳像技术研究分析逡逑数字稳像系统包括了图像预处理、图像匹配、运动估计、运动滤波和运动补偿等几逡逑个部分，如图２－１所示。逡逑Ｉ——图像逦——１＼逦图像逦——１＼逦运动逦——１＼逦运动逦——运动逦——Ｎ逡逑１￣NB逦预处理逦一＾逦匹配逦一Ｚ逦估计逦一／逦滤波逦一Ｚ逦补偿逦一ｉ／逡逑图２－１数字稳像系统逡逑预处理是对原生视频进行降噪，提升视频帧效果，减少噪声的干扰。然后对视频序逡逑列的每一帧进行配准，标记特征，计算相邻帧的位移。图像匹配是以特征矢量、灰度值逡逑或频率分量等图像信息，配对视频中的相邻图像，计算运动矢量，估算运动方向［２２］。运逡逑动滤波是对滤除的运动矢量中的随机抖动分量，使视频的相邻巾贞按照主动运动的方向发逡逑展［２３］。运动补偿是将原图像用估计的运动位移量进行反向补偿，得到修复后的图像，最逡逑终输出稳定的视频［２４］。逡逑其中运动矢量的计算速度对整体稳像的速度影响很大，而且直接决定了运动估计的逡逑好坏。运动矢量的计算基于图像匹配算法，不同的匹配算法各有优劣。目前常用的运动逡逑估计算法有：灰度投影法、光流法、块匹配法和特征匹配等［２５］。灰度投影法是基于像素逡逑灰度值的方法

二维图形,投影变换,齐次,线性变换

这种变换方式称为投影变换（Ｐｒｏｊｅｃｔｉｖｅ邋Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）邋［４＜。投影变换又名单应性，是逡逑几何中的一个概念。单应性是一个从实射影平面到射影平面的可逆变换，直线在该变换逡逑下仍映射为直线，其变换规则如图２－２所示。逡逑＃影中心逡逑原图象_L逡逑图２－２投影变换逡逑投影变换是二维图形关于齐次三维坐标系的线性变换，通常用于观察视点改变的图逡逑像变化。在图像任意点通过投影变换到图像（Ｘ＇，，）的过程可以表示为式（２－３），其逡逑＾＾１１逦２逦＾＾１３逡逑中Ｍ＝逦ａ２１逦ａ２２逦＾２３是ｈｏｍｏｇｒａｐｈ单应矩阵，表不变换方式。逡逑ａ３ｌ逦ａ３２逦ａ３３＿逡逑ｘ＇逦ａｕ逦ａｌ２逦ａ１３逦ｘ逡逑／邋＝逦ａ２２逦ａ２３逦ｙ逦（２－３）逡逑ｍ＂逦ａ３］逦ａ３２逦ａ３３逦１逡逑并且其满足关系式（２－４）和（２－５）。逡逑ｘ）ｎｘ邋＋邋ｗ邋＋邋“３】逦（２＿４）逡逑ｗ＇邋ａｕｘ邋＋邋ａ２３ｙ邋＋邋ａ３３逡逑ｙ邋＾ａｎｘ＾ａ２２ｙ＾ａｎ逡逑ｗ，邋ａｌ３ｘ邋＋邋ａ２３ｙ邋＋邋ａ３３逡逑刚体变换、仿射变换和投影变换的比较如图２－３所示。逡逑□邋0□0逡逑原图像逦刚体变换逦仿射变换逦投影变换逡逑图２－３变换方式比较逡逑－９－逡逑

二维图形,投影变换,射影平面,仿射变换

【相似文献】