视频监控中的行人再识别算法研究

发布时间：2020-08-28 19:51

　　近年来,面向平安城市、智慧城市等安防工程的重大需求,视频监控系统已经在全国各地被广泛地部署。大规模视频监控网络每天产生海量的视频数据,传统的人工数据分析手段已远不能满足现阶段的安防需求。因此智能视频监控系统备受科研机构和公安部门关注。行人再识别是智能视频监控系统中的关键一环,该技术旨在判断不同摄像头采集到的不同行人图像/视频是否为同一目标行人。行人再识别技术能够在大规模数据库中对特定行人进行快速有效地检索追踪,它已成为计算机视觉和多媒体分析等领域的热门研究方向。由于实际监控环境复杂多变,传统可靠的生物特征无法有效获取,行人再识别技术目前主要依靠外观信息识别不同行人。而由于视角变化、光照变化、遮挡等因素影响,精确且鲁棒的行人再识别仍然是十分有挑战性的任务。本文对行人再识别进行了深入和系统性研究,根据不同的特征信息和应用场景,从四个方向设计不同的算法模型,提升行人再识别的性能。主要研究内容和创新如下:(1)基于外观信息的行人再识别。本文基于深度学习技术,设计了两种不同的网络模型。1.多尺度三元组卷积神经网络,该模型联合特征提取与度量学习,从图像中抽取多尺度的外观信息,学习具有区分力的行人特征。此外,该网络提出一种改进的三元组损失函数来优化模型。2.联合上下文及比较性注意力的卷积神经网络,它利用人体部位间的关联性提取上下文感知特征,同时使用注意力比较模块提取注意力感知比较特征。最后联合这两种互补的特征学习更有效的行人特征。实验结果表明了这两种网络模型的有效性,并取得高识别精度。(2)基于外观信息及语义属性的行人再识别。针对外观特征易受到不同因素干扰,鲁棒性能较差,本文提出联合语义属性和视觉外观两种不同特征,设计了一种基于上下文及注意力的属性外观网络模型,以此自动学习具有分辨力和鲁棒性的行人特征,提升网络模型的鲁棒性能。在多个图像数据集上的实验结果表明该网络能够提取有效的行人特征,并取得较高的识别性能。(3)基于外观和时序信息的行人再识别。相较于图像,视频序列蕴含更丰富的时序信息。为了充分利用这些信息,本文提出了一种稠密3D卷积神经网络。该网络结合3D卷积操作和残差模块,能够自动地从视频序列中学习有效的外观和时空特征。同时它使用识别损失和中心损失进行联合优化,学习更具区分性的行人特征。在两个公开的视频数据集上的实验结果,验证了该方法的有效性。(4)基于跨领域匹配的行人再识别。现有方法泛化性能较差,导致其难以在实际场景应用。本文针对这个问题,提出一种自适应迁移网络。该模型深入研究产生域间差异的“黑盒子”,将复杂的跨域转换任务分解为一组中间子任务,并根据不同因素的影响自适应地生成更加符合目标域风格的图像,提升模型的泛化性能。在多个图像数据集上的实验结果,表明了该方法能够有效地缩小域间差异,提升跨域识别率。
【学位单位】：中国科学技术大学
【学位级别】：博士
【学位年份】：2019
【中图分类】：TN948.6;TP391.41
【部分图文】：

流程图,行人,识别系统,框架

行人逡逑图１．２行人再识别系统框架流程图逡逑一个完整的行人再识别系统可分为两个部分，如图１．２所示：Ｉ．行人检测，逡逑２．行人匹配。目前大部分研宄工作都集中在“行人匹配”这一部分。用ｇ和逡逑５＝邋｛仍，仍，．．？，分ｎ｝分别表示目标行人图像／视频和待查询行人数据库，我们可以逡逑将行人再识别任务抽象成数学公式来描述：逡逑８邋＝邋ａｒｇｍｉｎ邋Ｄ（ｆｌｆｉ，ｇ），邋ｇｔ邋Ｇ邋３逦（ｌ．ｌ）逡逑ｅ逡逑３逡逑

过程图,行人,图像,过程

逦／邋Ｂ逦＇逡逑图１．４基于显著性标准颜色描述子的示例图，显著性标准颜色的数值表示该组标准颜色的逡逑概率逡逑颜色空间的统计直方图描述子和ＳＩＦＴ局部特征描述子。Ｍａ等人［２１］结合生物启逡逑发特征描述子和协方差特征描述子，提出一种ｇＢｉＣｏｖ特征。其中协方差特征描逡逑述子是将原始行人图像转入到ＨＳＶ颜色空间中，并分别对不同的颜色通过进行逡逑多尺度的Ｇａｂｏｒ滤波特征提取，再将得到滤波器特征的差分图像划分为３２邋Ｘ邋２逡逑的稠密网格区域，并计算出各个网格区域内的协方差特征描述子。因此ｇＢｉＣｏｖ逡逑特征具有抗背景和光照干扰的能力。Ｌｉａｏ等人［２２］提出一种局部最大出现概率特逡逑征（ＬＯＭＯ），它是近几年来基于稠密网络划分策略的手工设计特征中，性能最逡逑为成功的一种特征表达。ＬＯＭＯ特征描述子采用１０Ｘ１０的稠密网格划分和５邋Ｘ邋５逡逑的移动间隔步长。在从图像各个网格中提取ＨＳＶ统计直方图特征和两种不同尺逡逑度下的尺度不变性局部三元模式（ＳｃａｌｅｌｎｖａｒｉａｎｔＬｏｃａｌ邋Ｔｅｒｎａｒｙ邋Ｐａｔｔｅｒｎ，邋ＳＩＬＴＰ）特征逡逑后，对同一高度的网格区域内提取的特征作最大池化（Ｍａｘ邋Ｐｏｏｌｉｎｇ）运算，从而逡逑生成最显著的局部不变性特征。同时

标准颜色,描述子,数值表示,组标

生成最显著的局部不变性特征。同时，ＬＯＭＯ特征对图像还采用Ｒｅｔｉｎｅｘ增强技逡逑术进行预处理来降低不同相机视角下的图像光照差异照成的千扰。该特征提出逡逑的过程如图１．５所示。逡逑Ｑ逦Ｂ逦ｍｏ逡逑（１邋Ｉ邋Ｉ逦；——｜ｊＬ＿．逡逑ＩＨ逦ｏｃｃｕｒｓ邋Ａ？？逡逑Ｂ逦§逦Ｉ逡逑■逦■逦Ｕ逡逑ｉｍａｇｅ邋Ｐａｔｃ？＞ｅｓ逦Ｈｉｓｔｏｇｍｍ逡逑Ｏｒｉｇｉｎａｌ邋Ｉｍａｇｅ逡逑图１．５从行人图像中提出ＬＯＭＯ特征的过程展示逡逑目前，很多相关方法都是基于低层次视觉特征实现的，然而在人类识别不同逡逑７逡逑

【相似文献】