混合交通视频检测多目标跟踪和分类识别的关键技术研究

发布时间：2014-12-20 20:57

【摘要】 我国城市当前面临严峻的混合交通问题，需要通过智能化交通进行解决。而混合交通参数的高效、准确提取是智能化交通管理与控制的基础。目前常规的检测器难以满足混合交通参数提取的需求，迫切需要开发一种有针对性的混合交通检测系统。因此，混合交通视频检测技术的研究及相应系统的开发对于提高城市交通控制的实时性和准确性具有重要意义，对有效进行交通管理和保障交通安全具有重要作用。但是由于目前混合交通视频检测关键技术研究不足，使得混合交通视频检测系统的开发与实现受到严重限制。本文针对这一问题，结合混合交通视频检测的实际需求，对普适性的摄像机参数标定、混合交通前景信息提取和补偿、混合交通快速分类和识别、混合交通多运动目标跟踪和遮挡处理等关键技术进行了研究和讨论。论文完成的主要科研工作及取得的主要科研成果概括如下：(1)基于像素角映射的摄像机标定算法当前对于摄像机标定的问题研究较多，但以往的标定方法在适应性和快速性方面存在一定的问题。本文在前人研究的基础上，提出了基于像素角映射的摄像机标定算法。即在针孔成像线性模型的基础上，分别考虑了像素与像素角、像素角与世界坐标两组非线性映射关系，并根据混合交通视频检测的实际情况对标定算法进行了简化。同时引入摄像机高度和倾角等参数，扩大了标定算法的适用范围。最后通过试验对比验证了本文提出的标定算法具有检测精度高、适用范围广、灵活性强、鲁棒性好等优点，具有良好的工程实用价值。(2)结合历史信息的混合交通前景提取和补偿算法针对混合交通场景的复杂性，本文在利用分段加权直方图(Partition WeightedHistogram, PWH)背景模型获取背景图像和背景边缘的基础上，通过引入历史信息来改进传统的边缘检测算法。首先通过将当前边缘信息、背景边缘信息及历史信息进行对比，经过推理和二次分析剔除背景边缘信息，获取前景边缘信息。然后通过融合差分信息，利用种子点生长法实现前景轮廓的补偿与修正，提取出能够满足混合交通分类识别需求的前景轮廓信息。最后，结合本文前景提取算法实现了阴影处理与夜间检测。(3)结合极限学习机(ELM)训练的混合交通快速分类识别算法针对混合交通视频检测算法常常因为缺乏有效的分类特征而导致识别精度低以及传统智能算法学习计算量大而导致实时性差的问题，在以往研究的基础上，提出了结合极限学习机(Extreme Learning Machine, ELM)训练的混合交通快速分类识别算法。该算法以边缘轮廓偏心率向量为分类特征，并利用等角度间隔抽样的方法对边缘轮廓偏心率向量进行了维数统一，克服了以往算法识别精度低的问题。再通过将极大极小偏心距的比值引入到混合交通特征表达中，克服了行人和自行车特征区分度不高的问题。最后在特征选取和表达的基础上结合ELM的分类机制对混合交通进行了快速分类识别，克服了采用支持向量机(Support Vector Machine, SVM)等传统智能算法耗时长的问题，实现了混合交通的快速、准确识别。(4)多目标跟踪和遮挡处理机制针对混合交通中多目标跟踪及遮挡处理难以实现的问题，提出了基于Kalman滤波和PCA-SIFT(Principal ComponentsAnalysis applied to SIFT)匹配的方法进行多目标跟踪和遮挡处理。利用Kalman滤波结合真实世界参数进行前景多目标预测，判断是否出现遮挡现象。通过对遮挡现象的判断结果选取不同的跟踪策略：若未发现遮挡，则采用基于世界坐标约束的Kalman滤波进行跟踪，保证跟踪的快速性；若发现遮挡，则结合预测信息锁定靶区域，缩小检索范围，再利用PCA-SIFT算法进行快速匹配，完成遮挡还原，实现了多运动目标的预测及跟踪，确保了跟踪结果的准确性及快速性。最后，在实际交通场景中对本文开发的检测系统进行了测试，结果表明：该系统能够良好地完成混合交通视频检测任务，准确提取多种混合交通参数。最后对本文的研究内容进行总结和展望。总结了本文所取得的研究成果以及创新点，针对本文研究的不足提出了下一步的研究计划。 

第1章 绪论

 

视频检测技术能够为智能交通系统采集必要的参数，对提高交通控制的实时性和准确性具有重要意义，对交通管理具有重要的作用。面对我国当前的混合交通问题，现有的混合交通视频检测技术存在许多不足之处，主要体现在：(1)缺乏具有普适性的摄像机标定算法；(2)前景信息提取效果差；(3)混合交通前景分类识别精度不足；(4)多目标跟踪遮挡处理难以实现。本文针对以上问题，在总结国内外相关交通视频检测技术研究和应用现状的基础上，完成了混合交通视频检测关键技术的研究。

 

1.1   课题来源

本文主要依托以下项目完成：

(1)吉林省科技厅发展项目：“混合交通视频检测智能设备的研究与开发”(项目编号20080432)，2008.09~2010.12。

(2)国家“863”计划项目：“基于多源融合的混合交通行人安全状态识别技术”(项目编号2009AA11Z210)，2009.06~2011.12。

(3)国家自然科学基金项目“基于人车冲突辨识的行人危险状态预警方法研究”(项目编号51108208)，2012.01~2014.12。

(4)国家自然科学基金项目“基于全时空信息的交叉口混合交通流运行机理研究”(项目编号 51278454)，2013.01~2016.12。

 

1.2   研究背景及意义

近年来我国城市化进程飞速发展，交通拥堵和交通事故等问题日益严重。城市管理者在努力提高城市交通运行效率的同时也开始密切关注交通安全等问题。由于我国人口数量多、密度大，当前的城市道路交通设施难以满足人们日常出行的需求，使混合交通成为我国城市交通的主要特征之一，也成为我国交通拥堵和交通事故的主要原因之一。目前，城市道路交通拥堵和交通事故频发等问题已经严重制约了我国经济的快速发展，威胁到人民的生命财产安全。世界卫生组织2009年对道路交通安全的评估数据表明：全球每年在道路交通事故丧生者中接近半数是行人或骑自行车(摩托)者，且致死率是机动车驾驶员的4倍。《中华人民共和国道路交通事故统计年报》数据显示，最近五年来(2008 年~2012年)，我国每年因交通事故受伤的行人总数从56303人降低到了 37877 人，因交通意外死亡的行人总数从 18913 人降到了 15690 人，虽然总受伤人数和总死亡人数均有所下降，但是当年的总受伤率和总死亡率并没有下降，仍然分别占到 17%和 25%左右。以北京和广州为例，北京的交通事故中行人伤亡率占交通事故总伤亡人数的 38%；广州的行人伤亡所占比例甚至超过 40%。而美国 2007 年和 2008年发生的严重交通事故中死亡人数分别为37435人和34017人，其中行人死亡数分别为4699人和4378人，仅占总死亡总人数的 12.5%和 12.9%。通过对比国内外统计数据可以看出：国外行人交通事故发生率低，且交通事故大多以车车碰撞事故为主；而中国由于城市的混合交通特性导致人车碰撞事故较多，行人死亡率也较高。

随着智能交通系统的不断完善和发展，许多先进国家在交通管理和控制方面取得了良好的成果，说明通过获取交通信息并采取相应的措施进行智能管理和控制，能够有效地减少交通事故的发生，降低交通伤亡率。因此为了有效地管理我国城市交通，提高道路通行效率和车辆行驶安全，迫切需要一套较为系统的混合交通检测技术，快速有效地获取混合交通参数。常用的交通参数检测器主要包括环形感应线圈、波频检测器和视频检测器等。环形感应线圈适用于机动车流量的检测，无法实现机动车的分类以及混合交通中行人、自行车的分类和识别，同时由于该检测器造价和安装费用均较高、检测范围有限且无法重复利用，限制了其在实际交通检测中的广泛应用。波频检测器(主要有微波检测器、雷达检测器、超声波检测器等)虽然安装相对简便，并可以调整检测范围，但无法实现高密度状态的准确检测，也无法对检测目标进行分类和识别。这些传统检测器由于是利用电磁、声波等手段进行检测，只能判断是否存在物体，并获取相应的参数，却无法区分所检测到物体的类型，从而只能够完成机动车的检测，虽然可以为城市交通管理提供所需要的部分机动车数据信息，但鉴于混合交通主体(包括机动车、行人和以自行车为代表的非机动车等)的特殊性和复杂性使传统检测器不能准确、实时地提供足够的混合交通流信息，难以满足我国城市交通管理和控制的需求，因此迫切需要一种行之有效的检测技术及系统，为我国混合交通信息的获取及混合交通的控制提供服务。

 

第2章   交通场景映射技术

 

交通场景映射是混合交通前景状态和真实参数获取的基础，通过映射可完成参数在像素坐标与空间坐标之间的转换。要得到该映射关系，就需要通过摄像机标定算法来实现。但当前摄像机标定算法存在适应性差、计算复杂等问题，本文在原有线性模型基础上，通过引入像素坐标-像素角、像素角-世界坐标两组非线性映射关系，建立了基于像素角映射的摄像机标定算法，克服了线性模型标定精度低的问题。又引入高度、角度参数及其求取方法，使标定模型能够适应摄像机高度、倾角的变化，扩展了算法的适用性。最后通过多组试验测试，验证了本文标定算法在近距离和远距离标定时都具有良好的精度和鲁棒性。

 

2.1   概述

直接通过视频检测提取的混合交通参数多是基于像素坐标的，而交通管理和控制中采用的参数通常是基于世界坐标的，因此为了实现混合交通真实参数的转换及获取，需要对交通场景映射关系进行研究。该映射关系的求取是通过摄像机标定算法来实现，即通过摄像机标定求出该摄像机的几何成像模型，精确地获取空间点与摄像机图像像素点的对应关系，再将获取的信息还原到世界坐标系下，为后续真实参数的提取、统计及分析服务。

摄像机标定算法主要包括传统标定算法和自标定算法两大类。传统标定算法中比较典型的是直接线形变换法、考虑畸变补偿的两步法、透视变换矩阵法及双平面法等。

直接线性变换法(DLT法)利用针孔摄像机模型对摄像机模型参数进行线性求解，该方法使用简单，但是由于标定时未考虑非线性变化导致精度较差。对此，Dainis和Juberts[88]对DLT法进行了改进，在标定时考虑了非线性优化，使得精度有了一定提高。摄像机透视变换矩阵法不需要对求解出的摄像机参数进行优化就可以得到标定结果，具有较好的实时性，但是同样忽略了非线性因素，从而影响了标定精度。考虑畸变补偿的两步法中以 Tsai 法最为经典，该方法通过径向约束线性求解，笔耕文化传播，并结合非线性优化算法求解畸变系数，得到了较好的标定效果，但要想进一步提高精度，需要大量增加参照点，且一旦改变摄像机的高度或角度等参数后，其参数就需要重新标定，适用性较差。双平面标定方法由 Martin提出，并被 Ma[90]进行了大量改进，该类方法与传统针孔模型的主要区别在于不要求投影到图像平面上的光线必须经过光心，仅是通过图像平面上任意两点来标定平面各自的对应点就可以确定产生该图像点的光线。该类方法也可使用线性求解，但参数过多，需要进行大量设置。 

 

2.2   基于像素角映射的摄像机标定算法

2.2.1   图像像素-像素角映射模型

在针孔成像原理中，世界坐标系W通过共线原理可以直接映射到像素坐标系I(x,y)上，如图2.1所示。

 

图 2.1 中，点 O 为所有光线都通过的针孔； ( , ,)W W WT X Y Z 为物点； ( ,)I IL x y 为像点。根据针孔成像模型，世界空间中任意一点通过针孔，经映射都可在像素坐标上对应表示，即物点 T、针孔 O 以及像点 L，都在同一条直线上。由于传统的针孔模型是通过线性计算图像上各个像素与真实世界位置的对应关系来求解的，该方法一旦摄像机的高度和角度发生变化，其线性参数也将发生变化，需要重新进行标定，且基于线性映射关系的标定算法精度较低从而限制了该类方法的使用。

考虑到各个像素点与之对应的像素角只受摄像机内部成像器件影响，在选取该映射关系建模并标定参数后就能获得很好的精度和鲁棒性。再通过引入摄像机高度、倾角等参数，可使标定具有很好的普适性，因此本文利用像素角映射的方法来达到摄像机标定的目的，将过去像素与世界坐标的线性映射关系，扩展为像素与像素角、像素角与世界坐标的非线性映射模型两部分。

 

第3 章  混合交通前景信息提取及补偿技术........29

3.1  概述...............29

3.2 PWH 背景模型..................30

第4 章  混合交通前景快速分类识别技术 ...........  55

4.1  概述...............55

4.2  混合交通前景特征选择.................56

第5 章  混合交通多目标跟踪及遮挡处理技术..........73

5.1  概述............73

5.2  无遮挡条件下多目标运动预测与跟踪 ............74

 

第5章   混合交通多目标跟踪及遮挡处理技术

 

混合交通前景多目标跟踪能为交通参数获取提供技术支持，但由于混合交通场景中前景多目标容易出现遮挡等问题，导致跟踪匹配的难度大，准确率低。针对该问题，为实现最优化的跟踪效果，提出了一种针对性的混合交通多目标跟踪及遮挡处理技术。该技术首先通过预测，判断前景多目标是否出现遮挡现象；当未发现遮挡时，采用结合标定算法的Kalman 滤波进行跟踪；当预测出现遮挡时，快速锁定遮挡靶区域并通过PCA-SIFT 算子对靶区域进行快速匹配完成遮挡估计和还原，实现多目标预测与跟踪。最后将本文的算法进行系统集成，对实际场景下的混合交通参数进行了提取，并与实测数据进行对比，验证了本文的研究成果具有可提取参数丰富、准确性高等优点。

 

5.1   概述

混合交通前景多目标的跟踪是实现多种参数提取的必要技术，通过跟踪可以得到前景目标的运动轨迹，并获取其速度、加速度以及其它时空信息。目标跟踪即通过一定的算法模型，经过推理和预测将当前获取的前景目标与之前的前景目标间建立起一一对应的关系。这类算法通过选取前景目标自身内部稳定且在时空上能够实现密切关联的特征信息来进行匹配实现跟踪的。密切相关的信息可以是前景自身某些明显特征(比如尺寸、形状、纹理等)，基于此方法的就属于特征匹配跟踪算法。它不是跟踪全部图像，而是针对性地跟踪关键点，并通过关键点完成目标匹配。其优点是即使待跟踪目标被部分遮挡，只要关键点未受影响，仍可继续实现正确跟踪。但当遮挡程度严重或出现重叠时，该方法就将难以保证跟踪的准确性。在实际使用此跟踪方法时常采用特征点结合Kalman 滤波器预测的方式，以便实现较为良好的跟踪效果和跟踪速度。而利用目标所在的图像区域，采用相关算法实现跟踪的是区域匹配跟踪算法。其通过提取待匹配的目标模板，并在后续视频中根据设置的参数进行全图匹配搜索，选取最佳的匹配目标，实现跟踪。该类算法的优点是跟踪效果较好，特别在无遮挡状态下，其匹配稳定且精度高。但该跟踪算法存在匹配过程复杂，实时性差等缺点，不适用于复杂场景下的多目标跟踪。除上述两种方法外，也有采用活动轮廓匹配的方法来实现跟踪的。该类方法中比较经典的有 Snake 算法和基于 Hausdorff 距离的轮廓跟踪算法。该类算法可实现轮廓的实时更新，以求取最优的跟踪匹配位置。但该算法计算量较大，无法满足多目标跟踪的实时需求，且当目标出现遮挡时，前景轮廓信息难以分离，致使活动轮廓匹配的误差较大。

 

第6章   总结及展望

 

6.1   工作总结

本文根据智能交通管理和控制系统的实际需求，对混合交通视频检测的关键技术进行了研究，主要完成了以下工作：

(1)完成了具有普适性的摄像机标定算法研究工作，提出了一种适应性强、灵活方便的摄像机标定算法。针对以往摄像机标定算法中难以同时满足灵活性及准确性要求的问题，通过引入像素角映射，对传统的线性模型进行了改进，将以往求解像素坐标与世界坐标的直接线性映射模型转化为求解像素坐标-像素角、像素角-世界坐标两个非线性映射模型，从而提高了算法的精度；同时在摄像机标定中引入高度和倾角参数，使标定算法在完成可视角标定后就能广泛地使用，提高了算法的适应性；最后根据实际的混合交通视频检测需求针对性地求解像平面与路面的映射关系进而简化了计算过程，使其更加便捷；此外本文所提出的标定技术在实际应用中，可针对摄像机的不同高度和倾角条件调整相应的参数，因此算法使用的灵活性较强。之后将本文的与经典的Tsai5法以及Tsai34法标定法在近距离和广域标定中进行了对比，测试结果表明本文算法具有精度高、使用方便、适应范围广等特点，能够适应混合交通视频检测对场景标定和参数转换的需求。

(2)完成了混合交通场景的背景建模工作，建立了一种能够适应复杂条件的 PWH背景模型。针对复杂条件下背景点的值易受随机扰动和前景干扰影响而难以被真实获取的问题，提出了一种基于分段加权直方图(PWH)的背景模型，本模型充分考虑了真实背景值受随机波动影响所表现出的分布情况，通过将像素值对应的频率按照不同的权重进行分段加权，确保加权后的频率能够克服随机扰动的影响，并对流量较大时的前景干扰具有一定的适应性，可较好地反映出真实背景值，进而完成混合交通背景图像的提取工作。之后又将本文背景模型与多种模型在不同的交通环境下进行了提取测试，通过对比试验验证了本文的背景提取算法能够适应不同的交通流量，并能进行有效的背景表达。

(3)完成了混合交通前景提取及补偿技术研究，提出了一种结合历史信息的前景提取及补偿算法。传统的前景提取算法存在着难以同时做到既较好地分割前景目标又保留精确前景信息的问题。这些问题影响了混合交通前景提取的效果，对后续前景目标的分类识别产生了较大影响。本文利用之前构建的背景模型获取背景图像和背景边缘，又将历史信息引入到边缘检测算法中，实现当前边缘与背景边缘的相似性对比和二次对比，从而获取初始前景边缘信息。再通过融合差分信息的种子点生长算法，对前景边缘进行补偿，得到了更加准确的前景边缘轮廓。最后通过对不同实际交通场景下的视频序列进行测试，验证了本文方法能够在准确剔除背景边缘的基础上，获取较为准确的前景边缘轮廓信息，为后续混合交通前景目标的分类与识别奠定良好的信息基础，为混合交通参数提取给予有力的支持。

(4)完成了混合交通前景快速分类识别技术研究工作，提出了一种基于边缘偏心率向量特征的快速分类识别算法。首先通过结合历史信息获取的前景目标边缘轮廓，根据形心位置构建了边缘轮廓偏心距向量。在此基础上采用等角度间隔抽样的方法完成了不同类型前景目标向量的维数统一，使本文构建的分类特征具有广泛可比性，之后通过将向量元素除以极大值完成了尺度归一化；并考虑行人、自行车、机动车轮廓特征的区别，将偏心距极大极小值之比引入到向量构建中，解决了行人、自行车特征区别模糊的问题，完成了边缘偏心率特征向量的表达。同时结合ELM分类器进行训练，克服了传统智能算法训练计算量大的问题，实现了混合交通的快速分类与准确识别。

参考文献:

[1] 江晟,王殿海,赵莹莹,胡宏宇.  混合交通特征表达及快速检测算法[J]. 吉林大学学报(工学版). 2012(06)
[2] 刘怀愚,李璟,洪留荣.  利用局部特征的子空间车辆识别算法[J]. 计算机工程与应用. 2010(30)
[3] 熊英,马惠敏.  3维物体SIFT特征的提取与应用[J]. 中国图象图形学报. 2010(05)
[4] 陈海林,吴秀清,胡俊华.  基于局部特征空间相关核的图像目标分类[J]. 光电工程. 2009(03)
[5] 施家栋,王建中,王红茹.  基于光流的人体运动实时检测方法[J]. 北京理工大学学报. 2008(09)
[6] 曾艳,于濂.  一种新的道路交通背景提取算法及研究[J]. 中国图象图形学报. 2008(03)
[7] 李牧,闫继红,李戈,赵杰.  自适应Canny算子边缘检测技术[J]. 哈尔滨工程大学学报. 2007(09)
[8] 张晓龙,江川.  基于AUC的SVM多类分类方法的研究[J]. 计算机工程与应用. 2007(14)
[9] 金虎,楼文娟,陈勇.  基于自适应BP神经网络的桥梁结构荷载识别[J]. 浙江大学学报(工学版). 2005(10)



本文编号：10504