无人机双目相机自动曝光及障碍物检测方法研究

发布时间：2020-05-08 03:10

【摘要】：随着小型多旋翼无人机技术的成熟与成本的降低,多旋翼无人机逐渐成为一个二次开发平台,在不同行业发展出各种应用,如航拍测绘、电力巡检、农业植保等。与此同时,不同任务所需面对的复杂环境,对无人机的环境感知能力提出了较高要求。相比于激光雷达、飞行时间测距、超声波等主动式传感器,视觉传感器拥有成本低、设备简单、分辨率高等优点,非常适合应用于无人机环境感知。双目立体视觉通过并行的两个摄像机来模拟人眼观测世界,从而形成对周围环境的有效感知。考虑到无人机上板载处理器有限的算力以及不同应用所需面对的复杂场景,如何在高动态环境下自适应调节相机曝光以采集细节丰富的图像数据,随后通过快速立体匹配估计视差并进行障碍物检测,最终为无人机避障与导航提供有效信息,仍有许多研究难点。本文主要设计了一套无人机双目立体视觉感知系统,用于无人机飞行过程中对于周围环境中障碍物的感知,主要工作如下:1)基于图像特征点位置有效亮度的相机自动曝光算法。无人机上视觉传感器所采集的图像将直接作为后续算法的输入,因此图像中物体特征,细节等信息将对后续算法精度造成很大影响。然而,高曝光质量图像的采集常常受到传感器和算法的限制。本文设计的基于图像特征点位置有效亮度的相机自动曝光算法,能充分考虑图像特征点丰富区域曝光质量,在高动态环境下快速迭代到合适曝光,从而采集高质量曝光图像。2)快速双目立体匹配与障碍物感知。双目立体视觉通过模拟人类观测世界的方式,利用视差原理对左右视图进行匹配,从而获得深度信息。无人机上有限的载荷与算力,以及在复杂环境中及时避让障碍物的需求,使得无人机上双目立体视觉系统需要兼顾算法实时性与准确性,并对障碍物进行有效表示。本文设计的双目立体视觉系统在NVIDIA Jetson TX2嵌入式处理器上实现了基于CUDA加速的半全局匹配算法,随后基于视差图进行深度重建,最后在生成的八叉树地图中进行障碍物的高效感知与表示。本文将端到端神经网络模型进行裁剪加速,并用于复杂情况下的视差估计。
【图文】：

曝光时间,图像,无人机,高动态环境

（ａ）逦（ｂ）逡逑图１．２无人机双目避障。（ａ）邋ＭＩＴＰｕｓｈＢｒｏｏｍ，（ｂ）大疆精灵４逡逑无人机上的双目立体视觉系统，需要保证无人机在复杂环境下的障碍物感知与安全飞逡逑行。受限于传感器与算法，通用相机模组往往很难适应高动态环境下的快速光强变化，从逡逑而造成图像过曝或过暗，导致信息缺失。图１．３显示了同一场景下不同曝光时间所拍摄的逡逑图像。相机的自动曝光算法能否在高动态环境下快速调整相机曝光，从而最大程度保留图逡逑像有效信息，对后续立体匹配，同时定位与建图（Ｓｉｍｕｌｔａｎｅｏｕｓ邋Ｌｏｃａｌｉｚａｔｉｏｎ邋ａｎｄ邋Ｍａｐｐｉｎｇ，逡逑ＳＬＡＭ）等视觉算法精度有较大影响。逡逑，１＾逡逑（ａ）逦（ｂ）逦（ｃ）逡逑图１．３不同曝光时间图像。（ａ）过暗，（ｂ）正常，（ｃ）过曝逡逑双目立体视觉技术中关键点在于立体匹配

视图,双目,无人机,避障

无人机上的双目立体视觉系统，需要保证无人机在复杂环境下的障碍物感知与安全飞逡逑行。受限于传感器与算法，通用相机模组往往很难适应高动态环境下的快速光强变化，从逡逑而造成图像过曝或过暗，导致信息缺失。图１．３显示了同一场景下不同曝光时间所拍摄的逡逑图像。相机的自动曝光算法能否在高动态环境下快速调整相机曝光，从而最大程度保留图逡逑像有效信息，对后续立体匹配，同时定位与建图（Ｓｉｍｕｌｔａｎｅｏｕｓ邋Ｌｏｃａｌｉｚａｔｉｏｎ邋ａｎｄ邋Ｍａｐｐｉｎｇ，逡逑ＳＬＡＭ）等视觉算法精度有较大影响。逡逑，１＾逡逑（ａ）逦（ｂ）逦（ｃ）逡逑图１．３不同曝光时间图像。（ａ）过暗，（ｂ）正常，（ｃ）过曝逡逑双目立体视觉技术中关键点在于立体匹配，立体匹配主要是在经过立体校正后的左右逡逑视图上寻找匹配点，从而计算视差图。场景中过曝、过暗区域与低纹理、重复纹理区域等，逡逑常常会对匹配造成困难从而无法获得准确视差。立体匹配通常需要较大的计算量，这对于逡逑无人机有限的载荷与算力来说是一个较大的挑战。在获得视差图的基础上
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：V279;V249

【相似文献】