复杂场景下实时目标跟踪算法及实现技术研究
第 1 章 绪论
随着计算机和电子等技术的飞速进步，逐渐产生了计算机视觉。计算机视觉是一个处于知识前沿的、非常活跃的研究领域[1]，它不同于研究人类或动物的视觉，而是借助于图像处理、模式识别、数学和物理等知识来建立模型和处理数据的。目标跟踪是计算机视觉中非常活跃的、充满挑战性的研究课题之一[2]。目标跟踪一般是通过成像设备得到视频图像信息，并对其进行一系列分析处理而得到目标的运动轨迹和运动参数，然后提供给目标跟踪系统，完成对视频序列中目标的分析和理解。目标跟踪技术所涉及的学科知识繁多包括数字图像处理、电子技术、半导体技术、概率与统计和模式识别等；随着这些学科理论研究的日益发展，摄像设备质量的提高、价格的低廉以及智能自动化视频设备需求的日益增多，目标跟踪技术的应用越来越频繁。无论在军事上、工业上、还是民用上均具有举足轻重的地位和重要的应用前景，并得到了广泛的关注与应用。下面介绍一些典型的应用：
(1)视觉导航方面：视觉导航首先通过成像设备获得图像信息，然后从中筛选有价值信息并进行处理得到载体的导航参数，如速度、位置等[3]。无人机、无人驾驶汽车、成像制导以及天体巡视探测器等无不涉及到视觉导航技术。而视觉导航中的关键技术之一就是目标跟踪，通过利用目标跟踪技术对目标进行提取与定位。
许多机构和研究人员从上世纪 70 年代就开始对无人驾驶汽车进行了研究。Google 公司研制出一款无人驾驶汽车，该汽车能够不通过人的操作而自动驾驶，如图 1.1(b)所示，实现该汽车的自动驾驶就需要在复杂场景下对目标进行准确的识别、跟踪以及定位，才能保证自动驾驶的顺利完成[9-11]。成像制导通过弹载成像传感器来捕获实时图像信息，使用目标跟踪算法计算导弹和目标的实时相对位置等信息，并根据导弹跟踪处理器的数据来指引导弹飞行，从而完成对目标的精确攻击。相比于其他制导方式，成像制导具有较高的精确度和较好的隐蔽性，在精确制导中发挥的作用日益明显。比如美国的 AAWS-M中程反坦克导弹，发射后能够自主选择目标，采用红外成像制导方式；俄罗斯现役的Kh-38M/ME空对地导弹，使用了红外成像制导方式与激光制导方式等[12, 13]。图 1.1(c)中为 Kh-38M/ME 空对地导弹。
......
在军用和民用领域中目标跟踪技术都占据着非常重要的位置，与人们的生产生活密不可分，对人类社会的进步和发展具有重大的促进作用。经过多年来的研究，目标跟踪技术在国内外得到广泛的重视，产生了许多目标跟踪算法并应用在诸多领域，取得了巨大成果。本节将从目标跟踪算法的研究、目标跟踪算法的分类以及目标跟踪算法的硬件实现这三个方面来回顾一下目标跟踪技术的研究现状。
20 世纪 50 年代，国外就开始研究目标跟踪技术，Wax 在 1955 年就提出了目标跟踪理论[27]；60 年代，Sittler 提出了目标点轨迹的概念和目标运动路径最优数据关联的贝叶斯理论，对目标跟踪算法进行了改进，为后来目标跟踪理论的成熟奠定了基础[28]；20 世纪 70 年代，Yaakov 等把卡尔曼滤波(Kalman Filter，KF)和相关的数学理论应用到目标跟踪算法中，推动了目标跟踪算法的进一步发展[29,30]，随后许多学者提出了很多关于运动目标跟踪和数据相关等方面的算法，如多重假设目标跟踪、概率数据关联滤波、交互式多模型滤波等方法；80 年代，国外研究人员提出了自适应跟踪[31]和智能跟踪[32]等方法；90 年代，学者们提出了均值偏移(Mean Shift，MS)理论、概率多假设追踪、变结构多模型、粒子滤波(Particle Filter，PF)等[33-36]，后来人们深入研究了 Mean Shift 和 PF 跟踪算法并对它们做了一些列的改进；进入 21 世纪后，机器学习(Machine Learning，ML)逐渐被人们引入到目标跟踪领域并成为一种解决目标跟踪问题的新思想，它将一个跟踪任务转换成一个对目标与背景进行分类的问题，一类是目标而另一类是背景。如支持向量机[37](Support Vector Machine，SVM)、Adaboost 算法[38]以及多示例学习[39](Multiple Instance Learning，MIL)等。国外的麻省理工学院、牛津大学、卡内基梅隆大学等著名高校都纷纷组建了自己的计算机视觉研究小组，而且在目标跟踪领域的研究中获得了一系列具有影响力的成果并应用到实际工程项目中。另外，国际重要期刊和国际顶级会议每年都收录大量目标跟踪方面的研究成果。其中相关的重要国际期刊有：TPAMI(IEEE Transactions on Pattern Analysis andMachine Intelligence)、PR(Pattem Recognition)、TIP(IEEE Transactions on ImageProcessing)、CVIU(Computer Vision and Image Understanding)等；相关的顶级国际会议有：CVPR(IEEE Conference on Computer Vision and Pattern Recognition)、ECCV(European Conference on Computer Vision)、ICCV(Intemational Conferenceon Computer Vision)、BMVC(British Machine Vision Conference)、ACCV(AsianConference of Computer Vision) 、 ICPR(Intemational Conference on PatternRecognition)、ICIP(IEEE International Conference on Image Processing)等。
......
第 2 章 基于相位一致性的实时压缩跟踪
传统的目标跟踪方法通常是在某个特征空间中来描述目标，然后在图像感兴趣区域中搜索与目标模型最相似的图像区域作为目标。近年来，一个非常流行的方法就是把目标跟踪问题视为一个在线分类的问题，通过使用一个训练好的分类器把目标从背景中辨别出来，并且在线更新分类器，一旦分类确定，目标和背景就可以被判别出来，从而就可以确定目标的位置[85-87]。2006 年 Candes 和 Donoho 给出了压缩感知（Compressed Sensing，CS）的概念[88]，其具体的过程是首先利用投影矩阵得到原始信号的测量值即压缩后的数据，然后依据合适的重构算法恢复出原始信号。最近压缩感知理论被引入到目标跟踪领域中，文献[89]提出了一种压缩跟踪方法（Compressive Tracking，CT），该方法简单、实时性好，但是它存在以下不足：①对目标发生光照及对比度较大变化时跟踪效果较差；②在分类器的训练过程中同等对待所有的正负样本，没有考虑不同的正负样本对于分类贡献的不同；③只是使用最简单的朴素贝叶斯分类器进行分类，在目标外观变化较大的情况下跟踪容易发生漂移，如目标尺度、目标姿态等发生变化。
针对上述问题，本章给出了一种改进的 CT 算法，对 CT 算法做了以下三点改进：①将相位一致性检测引入到目标跟踪过程，以适应目标光照以及对比度的剧烈变化；②对采集的样本进行加权，用来区分样本对于分类的重要程度；③利用 Boosting 思想建立一个强分类器，以增强分类性能。本章算法对多组视频序列进行了实验，实验结果表明，该算法能够较好地适应目标的外观变化，具有较好的实时性和较高的精度。本章的内容安排如下：第 2 节介绍了压缩感知理论以及压缩跟踪算法，第 3节介绍了基于相位一致性的压缩跟踪(Phase Congruency based CompressiveTracking，PCCT)算法，第 4 节对 PCCT 算法进行了跟踪实验，并对实验结果给出了定量与定性分析，第 5 节为本章内容的小结。
......
2.2.1 压缩感知基本理论
Candes 等在 2006 年第一次提出 CS 理论，其主要思想是：对于可压缩的或稀疏的高维信号，可以通过使用随机测量矩阵把高维空间信号映射到低维空间信号，并且能够很好地从这个低维信号中恢复出原来的高维信号。随着现代社会对信息量的需求越来越大，信息传输、处理以及信息存储等方面也随之面临巨大的困难和挑战，因此人们开始考虑将压缩感知理论应用于信号处理和图像处理等领域以缓解处理数据量大的瓶颈。CT 算法正是利用了 CS 理论中的降维原理对高维 Haar-like 特征进行降维以减少计算量，从而提高目标跟踪算法的运算速度。下面简要介绍一下相关知识：
在目标跟踪中通常利用边缘特征来抑制光照变化的影响，并结合其它特征来保证目标跟踪的可靠性。一般采用基于梯度的边缘提取，比如 Canny、Prewitt、Sobel 等边缘检测，计算过程简单快捷，但是它们的边缘提取仍然要依赖于图像的灰度特征，容易受光照变化的影响，而且在检测的过程中需要选取适当的阈值，才能保证较好的检测效果。考虑到上述问题，本章利用相位一致性图像特征来解决压缩跟踪方法对光照和对比度剧烈变化敏感的问题。
使用式(2-15)来计算一幅图像的相位一致性变换，便可以得到对应的 PC 系数值，然后由这些系数值便可以得到一幅新的灰度图像，它就是 PC 变换图像。图 2.9 中给出了 3 幅不同光照条件下图像(见图 2.9(a))的 Sobel 边缘图像(见图2.9(b))以及对应的灰度直方图(见图 2.9(c))、相位一致性变换图像(见图 2.9(d))以及对应的灰度直方图(见图 2.9(e))，其中图 2.9(c)的横坐标为归一化的图像灰度值(图像灰度除以 255)，图 2.9(e)的横坐标为相位一致性图像的灰度值。相位一致性图像不同于边缘检测提取的图像：从图 2.9(b)、图 2.9(c)可以看到，对于 Sobel边缘检测提取的图像，，其归一化灰度值主要集中在 0～0.2 范围内，只保留了原图像的边缘信息，其他信息大部分丢失；从图 2.9(d)、图 2.9(e)可以看到，相位一致性图像的灰度值几乎覆盖了 0～1 范围，保留了原图像的大部分信息，对于不同亮度和对比度的图像，对应的相位一致性图像的直方图几乎一致，也就是说相位一致性图像几乎相同；PC 变换后的图像的前景特征变得更加显著，背景变得比较平滑，既增强了原图像的特征又保留了原来的一些非特征点的信息，更能够体现原图像的特征。因而我们将从相位一致性图像中提取的特征应用于分类器进行分类，能够有效地抑制目标外观光照及对比度变化对分类器判别结果的干扰，从而提高了分类器判别目标的能力。
......
3.1 引言.........................................................45
3.2 基于核相关滤波器的目标跟踪 .................................46
第 4 章 基于在线检测的时空上下文目标跟踪.........................73
4.1 引言........................................................73
4.2 基于时空上下文信息的目标跟踪 ...............................74
第 5 章 基于 STC 跟踪算法的硬件架构设计........................93
5.1 引言.........................................................93
5.2 目标跟踪系统硬件平台介绍 .....................................94
第 5 章 基于 STC 跟踪算法的硬件架构设计
在当今信息化战争中能否对目标实现精确打击对于战争的胜负具有重大的影响，因此研制精确摧毁目标的制导武器对于提升军队的作战能力以及国家的安全防御都有极为重要的国防意义[130]。各国对于精确打击武器的研制越来越重视，陆、海、空三军的各类新式精确打击武器装备都相继产生，而实现其精确打击的关键部分就是目标跟踪系统。目标跟踪系统是一种被动式的系统[131]，它首先利用从成像系统得到的图像来获取目标信息，然后通过控制设备、目标跟踪器等对目标进行自动跟踪，这样就能够使武器辨识目标并且对其进行有效摧毁；它是计算机、电子信息、半导体、图像处理、人工智能以及自动控制等学科有机结合的结晶。早期的目标跟踪系统一般是在通用计算机上实现的，而现在的目标跟踪系统更侧重于使用嵌入式系统来进行实现，并逐步向处理速度更快、跟踪精度更高、智能化程度更高、功耗更低以及体积更小等方面发展。图 5.1 给出了一个完整的目标跟踪系统的组成框图，主要包括图像采集(成像设备)、目标跟踪器(核心单元)、伺服控制以及显示部分。
其中各模块的功能如下：(1)成像设备，一般是可见光或红外相机，用来从外界获取图像信息；(2)目标跟踪器，是目标跟踪系统的核心模块，一般包括目标获取、目标跟踪、视频叠加以及参数输出模块，完成视频中目标位置的提取以及目标状态的估计；(3)伺服控制结构，根据获得的相关参数及时调整成像设备的位置，使目标能够一直位于成像设备的视场中心；(4)显示器，用于直观地显示目标跟踪的过程。
......
第 6 章 总结与展望
随着计算机、电子、信息等现代科学技术的飞速发展，目标跟踪技术在军事应用、工业生产以及人们的日常生活等方面的应用越来越广，与此同时目标跟踪技术所面临的挑战也越来越多。本文针对复杂场景下的目标跟踪算法以及硬件实现进行了研究与探索。首先对跟踪算法以及硬件实现的研究现状进行了总结，然后分别对压缩跟踪算法、核相关滤波器跟踪算法、时空上下文跟踪算法以及目标跟踪算法的硬件架构设计进行了深入研究。本文的主要工作有以下几个方面：
1.对基于压缩感知的跟踪算法进行了研究,针对在目标跟踪过程中目标外观变化容易引起跟踪不稳定的问题，提出了一种改进的跟踪算法。首先将相位一致性引入到跟踪过程中,以适应目标光照及对比度剧烈变化；然后对采集的正样本进行加权处理，以区分样本的重要程度；最后通过利用 Boosting 思想来建立强分类器，以提高分类性能；并通过实验对算法进行了验证和分析。
......
参考文献（略）
本文编号：186247
本文链接：https://www.wllwen.com/wenshubaike/caipu/186247.html
