基于检测与跟踪互反馈的多目标跟踪技术及应用研究

发布时间：2018-10-21 12:02

【摘要】：多目标跟踪是机器视觉领域中一个重要而又充满挑战的任务,可以应用于多个领域,如自动监控,视频索引,人机交互,交通监控,视频文本检测和识别等。目前的多目标跟踪技术大多是基于检测的方法,但是检测和跟踪却被分为独立的两个步骤,在检测中没有利用跟踪信息,导致产生许多误检、漏检,并减低了算法运行速度。特别的,本文以复杂视频文本(层叠字幕文本、自然场景文本)检测跟踪进行多目标跟踪技术的应用研究。传统的文本检测方法重点研究如何在一帧图像进行文本检测,而视频文本具有时域冗余性,可以利用多目标跟踪技术提高文本检测的准确率。另外,自然场景文本运动模式比较复杂,单一跟踪算法无法有效应对。针对基于检测的多目标跟踪算法易产生误检、漏检以及不满足实时性要求等问题,本文提出了一种基于检测与跟踪互反馈的多目标跟踪算法MTDT (Multi-object Tracking with inter-feedback between Detection and Tracking),有效利用了跟踪反馈信息,减少误检和漏检,提高检测速度,进而提高了跟踪算法的效率。针对没有充分利用时域冗余性和场景文本运动模式复杂等问题,基于前述的多目标跟踪技术,结合本文研究的基于跟踪的文本检测算法和多策略融合预测算法,分别提出了基于MTDT算法的视频层叠字幕文本检测跟踪方法和基于MTDT算法的自然场景文本检测跟踪方法,论文的具体研究内容及其创新性工作如下：(1)提出了一种在线实时的基于检测与跟踪互反馈的多目标跟踪算法MTDT。该算法由基于跟踪反馈的检测和基于检测的跟踪两个迭代的步骤构成,充分利用了检测与跟踪的互反馈提高算法的效果和效率。在跟踪步骤中,依据情况的复杂程度,采用分组策略将目标归为单目标情况和多目标情况两类,针对不同类型的目标使用不同策略进行处理；在检测步骤中,由跟踪算法反馈的目标类型、尺度、预测位置等信息协助选择合适的检测器,在小范围内进行检测,有效减少误检,提高了算法效率。在实际交通监控视频和一些公开数据集上的实验证明了该方法的有效性和实时性。(2)提出了一种基于MTDT算法的视频层叠字幕文本检测跟踪方法,对基于检测与跟踪互反馈的多目标跟踪算法进行修改,使之适用于层叠字幕文本检测,达到充分利用时域冗余性来提高文本检测准确率的目的。首先,利用颜色特征、运动模型、轮廓特征计算检测与轨迹的相似度;然后,采用匈牙利算法解决数据关联问题得到跟踪结果。之后,根据跟踪结果修正检测,提出了一种基于跟踪的文本检测方法。通过误检的验证、基于预测位置的文本检测和文本框大小的修正三个步骤,提高检测召回率并使检测框位置更加准确。此外,针对层叠字幕文本检测问题缺乏公开数据集的问题,本文构建了一个具有挑战性的视频文本(层叠字幕文本)数据集USTB-VidTEXT。在该数据集上的实验结果表明,本文提出的视频文本检测跟踪方法不但取得了优于目前先进方法的效果,而且具有很强的扩展性和实时性。(3)提出了一种基JMTDT算法的自然场景文本检测跟踪方法。在层叠字幕文本检测跟踪算法的基础.上,改进其中的文本位置预测算法。针对自然场景文本运动模式复杂的特点,提出一种基于规则的多策略融合预测算法,分别采用线性预测、STC算法、SURF+RANSAC算法三种方法对文本在下一时刻的位置进行预测,然后基于规则融合预测位置,得到最佳结果。该算法针对不同类型的文本采用不同的预测方法,有效提高了文本跟踪的准确率。在ICDAR2015数据集上的实验证明该方法在MOTP、MOTA和ATA三种评价标准上都取得较好成绩。(4)结合提出的视频文本检测跟踪方法,设计了一个复杂视频文本检测识别系统。文本检测过程中,使用前述基于MTDT跟踪算法的文本检测跟踪算法定位文本位置；而在文本识别过程中,本文提出了一种基于跟踪的文本识别方法,利用识别与跟踪的互反馈,减少跟踪错误给文本识别带来的负面影响。首先,对每帧检测结果进行文本识别；然后,为了保证属于同一轨迹的检测框内包含的都是相同文本,对跟踪得到的轨迹进行时域过分割：之后,采用凝聚层次聚类对过分割进行修正；最后,使用投票策略获取最终的识别结果。在USTB-VidTEXT数据集和ICDAR2015数据集上的实验结果证明了本识别系统的有效性。
[Abstract]:......
【学位授予单位】：北京科技大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP391.41

【相似文献】