视频异常行为检测与跟踪中遮挡与类别失衡问题研究

发布时间：2021-01-11 17:16

　　随着智慧城市的发展,智能监控技术被用于城市道路的管理和调度,在城市路网监控与调度中发挥越来越重要的作用。异常行为检测技术既是计算机视觉领域中的重要问题,也是智慧城市建设的应用基础。正因如此,异常行为检测目前正受到学术界的重点关注,拥有巨大的研究意义。视频异常行为检测算法需要对正常视频中正常事件的外观特征与运动特征进行建模。另一方面,监控视频中天然存在的遮挡与类别失衡问题一直没能得到很好的解决。遮挡问题表现在正常或异常事件被其他前景遮挡导致信息缺失算法漏检。类别失衡问题表现在视频流时空间信息量的不均衡:比如,前景往往信息丰富样本类型多,背景则基本保持不动,样本单一。如果采用前景提取算法屏蔽背景,那么检测性能将受限于性能不佳的前景提取算法。如果对前景和背景不加区分地处理,那么算法建立的模型会专注于简单的背景上,而忽略前景的特征。正因如此,这种类别失衡会导致模型难以训练,判别能力差。围绕这两大难题,本文首先针对传统异常检测算法缺乏语义信息忽视前景背景失衡的问题,开展了基于残差网络与语义约束的异常检测研究。然后,针对视频具有的时空间信息失衡问题,本文开展了基于部分卷积与遮挡掩蔽的异常检测研究。... 

【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校

【文章页数】：114 页

【学位级别】：博士

【部分图文】：

图１．２视频异常检测算法检测到异常的示例??近几年，家用网络监控设备在市场上越来越受到欢迎

?第１章绪?论???变化。如果算法无法准确跟踪视频中目标的变化过程，它将难以及时更新??外观模型的参数，引起跟踪结果的漂移，破坏跟踪算法的性能。??（３）形变。由于监控摄像头拍摄视角和目标本身运动的问题，在监控视频中的??目标，比如车辆、行人，经常会发生形变。这给单目标跟踪性能的稳定性??带来了影响。例如，一辆车靠近又远离的过程中，整体轮廓会发生较大地??变化，如果跟踪算法采集更新样本时没能反映出这种变化，跟踪结果会发??生漂移。??■??（ａ）遮挡前?（ｂ）完全遮挡?（ｃ）部分遮挡?（ｄ）遮挡后??图１．３跟踪过程中，目标会发生遮挡，包括完整遮挡和部分遮挡。??１．３研究内容??ｉＶｒ＇．ｄ?■?ｉ?＇?Ｘ?ｒ?＾?＊?＂＊?ｆ??和觀：ｌ?—?ａ?ｊ?ｍ?：??Ｖ?＂?；?；■?Ｓ?／ｍ?ＶＭ??跟踪紐：??图１．４本文采用的研宂框架。??针对上一节提到的问题，本文展开了两个部分四个方面的研宄，具体结构见??图１．４。首先，本文开展了基于语义约束和残差网络的异常行为检测研宄。这一??部分的研究目的是重点学习视频流中物体运动时像素变化的特征，从而拉近正??常行为在语义空间里的距离。其次，本文开展了基于部分卷积与注意力机制的异??常行为检测研宄，直接学习物体的运动信息，解决了基于深度卷积网络的特征提??取过程带来的分辨率不足以及隐式学习问题，并且通过注意力机制对不同时空??５??

?第１章绪?论???变化。如果算法无法准确跟踪视频中目标的变化过程，它将难以及时更新??外观模型的参数，引起跟踪结果的漂移，破坏跟踪算法的性能。??（３）形变。由于监控摄像头拍摄视角和目标本身运动的问题，在监控视频中的??目标，比如车辆、行人，经常会发生形变。这给单目标跟踪性能的稳定性??带来了影响。例如，一辆车靠近又远离的过程中，整体轮廓会发生较大地??变化，如果跟踪算法采集更新样本时没能反映出这种变化，跟踪结果会发??生漂移。??■??（ａ）遮挡前?（ｂ）完全遮挡?（ｃ）部分遮挡?（ｄ）遮挡后??图１．３跟踪过程中，目标会发生遮挡，包括完整遮挡和部分遮挡。??１．３研究内容??ｉＶｒ＇．ｄ?■?ｉ?＇?Ｘ?ｒ?＾?＊?＂＊?ｆ??和觀：ｌ?—?ａ?ｊ?ｍ?：??Ｖ?＂?；?；■?Ｓ?／ｍ?ＶＭ??跟踪紐：??图１．４本文采用的研宂框架。??针对上一节提到的问题，本文展开了两个部分四个方面的研宄，具体结构见??图１．４。首先，本文开展了基于语义约束和残差网络的异常行为检测研宄。这一??部分的研究目的是重点学习视频流中物体运动时像素变化的特征，从而拉近正??常行为在语义空间里的距离。其次，本文开展了基于部分卷积与注意力机制的异??常行为检测研宄，直接学习物体的运动信息，解决了基于深度卷积网络的特征提??取过程带来的分辨率不足以及隐式学习问题，并且通过注意力机制对不同时空??５??


本文编号：2971174