基于双目视觉的运动目标识别与跟踪算法研究

发布时间：2019-11-02 15:00

【摘要】：基于双目视觉的运动目标跟踪系统是在双目视觉技术的基础上,对视频图像序列中的运动目标进行检测与提取,并对感兴趣的目标进行连续跟踪的过程。其主要过程是通过双目相机得到具有深度信息的图像,结合深度图像和灰度图像对运动目标进行检测,计算出每一帧图像中运动目标的位置和大小;然后将每一帧图像中具有相同特性的目标关联起来,得到目标的位置、速度、加速度等信息;最后得到目标在视场中完整的行驶轨迹。本课题以四旋翼无人机地面目标跟踪系统为研究对象,对基于双目视觉的运动目标识别与跟踪算法进行了研究。首先,针对双目视觉系统,通过对现有标定算法进行分析,选择并使用了精确度和灵活度适中的张氏标定法对双目相机进行标定,并对其标定原理和计算过程进行了分析,得到了相机的内、外参数,并对输出的图像进行了校正;针对无人机实时跟踪的要求,采用了速度比较快的BM立体匹配算法对左右图像进行匹配,得到具有深度信息的图像。其次,针对旋翼无人机对地面目标进行跟踪时的背景运动问题,在比较分析了常用背景运动补偿算法的基础上,采用了SURF算法对相邻两帧图像的背景部分进行特征点检测;然后通过仿射变换矩阵对视频图像进行校正;最后针对目标检测过程中出现的光照变化、树叶扰动等干扰,在运动目标检测过程中采用了一种结合深度图像和灰度图像的三帧差分算法,增加了目标检测的精确度,为后续的跟踪算法提供准确的目标模版。最后,在检测出待跟踪目标的基础上采用Camshift算法进行跟踪,并结合Kalman滤波算法对目标的运动状态进行预测。对跟踪过程中遇到的严重遮挡和大面积同色背景干扰的问题进行了分析,通过对算法进行改进,使之能够自动决策两种算法在跟踪结果中所占的权重问题,有效地解决了上述干扰,增强了系统的鲁棒性。通过搭建双目视觉平台,对本文提出的各种算法采用Matlab或C++语言在计算机环境下仿真并调试完成,利用视频图像进行了仿真实验。
【图文】：

定基,双目,相机,畸变系数

每幅图像取 m 个特征点成m n个如公式（2.24）所示的方程组，利用最小二乘法求解畸变系数1k 和k获得畸变系数后，根据实际的图像坐标和计算所得的图像坐标形成的二维重如公式（2.25）所示，通过求解公式（2.25）的最小值来优化相机的内、外参迭代畸变系数和相机的内、外参数，直至收敛为止。21 21 1 || ( , , , , , ) ||n mij ij i i ji jF I I M k k R p P (张正友标定法操作过程简单，一般采集 5～7 幅标定板图像就可以得到比较精机参数。在两个摄像头相对位置不变的情况下只需要一次标定即可，一般不标定。.3 实验验证及分析在该部分实验中硬件部分采用了变基线双目相机开发板，笔记本电脑采用er Core i3-370M（2.4GHz），4G RAM，显卡 ATI Mobility Radeon HD 5650；软 Windows 10 x64 操作系统，Visual Studio 2013，OpenCV 2.4.13，Matlab201tlab 标定工具箱；标定板规格为 14×12 黑白方格，1.5mm×1.5mm。

深度图像,双目,位姿,相机

图 2.7 双目相机与标定板的相对位姿体匹配算法过程机标定是立体视觉的基础和前提，而立体匹配则是立体视觉的重要环节决的问题之一[35]。对双目立体匹配算法而言，若要达到实时的条件，则度图像效果比较差；若要得到精确度高的深度图像，则算法需要消耗大此如何实现高精度下的实时算法是一个亟待解决的问题[36]。据算法匹配方式的不同，将立体匹配算法分为全局立体匹配算法和局部[37]。局部立体匹配算法核心是通过像素点约束窗口来进行匹配，主要步价计算、匹配代价聚合、视差计算与优化。全局立体匹配算法核心则是能量函数来进行匹配，主要步骤包括：匹配代价计算、视差计算。在通法得到初步视差数据后，通常还需要对数据进行进一步的优化等步骤。生成的深度图像对运动目标进行检测，不需要十分精确的深度图像，但性有一定的要求，，因此着重介绍了局部立体匹配算法。匹配代价计算
【学位授予单位】：兰州理工大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP391.41

【参考文献】