结合深度学习的行人视频数据结构化方法研究

发布时间：2020-12-29 06:16

　　随着“智慧城市”建设的不断推进,人们对公共安防提出了高效化、智能化的要求。传统的人工方式已难以处理日益增长的监控数据,因此需要一种能对监控视频结构化数据进行自动化提取与管理的方法。本文以行人视频数据结构化为中心,结合深度学习相关算法,分别从数据集智能标注、行人属性信息的精细化提取与描述、多目标关联与跟踪方法以及视频结构化系统设计四个方面展开工作,取得了如下成果:1)为了满足行人视频数据结构化过程中,对行人检测及行人对象属性提取等深度学习模型增强训练的需要,设计了增强的人在环中的深度学习视频数据标注软件。该软件基于人在环中的智能标注思想,在已有的目标检测标注工作的基础上,通过结合相应的深度学习模型,增加了图像分割标注、行人对象属性标注以及目标图像序列标注三个标注功能模块,并以此制作了行人属性数据集,为后续研究提供了数据基础。2)监控视频中行人目标及其属性是监控视频数据结构化中的重要信息,为了对监控视频中行人对象属性信息进行提取,设计了行人目标检测与行人对象属性提取两级深度学习网络。此外,为了更直观地反映行人对象属性间的关联关系,本文还通过关联规则挖掘算法挖掘属性间的关联规则,并引入有向超... 

【文章来源】：深圳大学广东省

【文章页数】：86 页

【学位级别】：硕士

【部分图文】：

Mask R-CNN 算法框图

结合深度学习的行人视频数据结构化方法研究11开始读取标注数据键鼠绘制操作保存标注数据绘制、编辑结束？NY绘制模式键鼠进行修改YN结束图2-6人工确认与修改操作工作流程图2.4行人属性标注模块设计在本文后续对视频结构化信息的提取中，需要提取行人目标的属性信息，以对其进行结构化描述与存储。为了实现对行人目标图像属性进行精细化识别，需要制作行人属性识别数据集，以对深度学习行人属性识别网络进行训练，以提升属性识别的精确率。行人属性识别属于目标多标签分类问题，本模块中采用DeepMAR[15]网络实现对目标属性信息的预标注。DeepMAR网络主要针对了手工提取的特征不能很好适应视频场景、行人属性之间的关系被忽略这两个问题设计的网络，具有较高的识别精度。如图2-7所示，为DeepMAR网络结构图。图2-7DeepMAR网络结构图该网络结构较为简单，首先输入图像通过CNN提取特征，然后对得到的特征进行分类，在最后进行属性分类时，利用了属性之间的关系，将所有的属性的分类通过一个分类网络完成，一次解决了多个属性识别问题。最终，网络输出的结果使用Sigmoid函

结合深度学习的行人视频数据结构化方法研究16表；区域5为视频播放控制器，主要用于控制视频的播放与暂停。图2-11系统主界面图图2-12为使用本软件的目标检测标注模块对目标图片进行标注的示例图，打开待标注图像后，点击运行YOLO目标检测模块，输出结果通过矩形检测框的形式在视图中显示。然后由人完成对标注结果的校对与确认，最终以xml文本格式进行标注数据保存。图2-12目标检测标注示例图图2-13所示为软件系统进行图像分割标注示例图，该标注过程与目标检测标注类似，通过点击运行MaskR-CNN图像分割模块进行分割预标注，不同之处在于分割标注


本文编号：2945170