渐进式行人重识别关键技术研究

发布时间：2020-08-21 00:24

【摘要】：行人重识别是指给定目标行人的图像序列,在拍摄区域不重叠的多摄像头监控网络中搜索与其身份相同的行人。它能够提供目标行人在城市中出现的位置和对应时间,进而可以构建其活动轨迹和理解其行为表现,逐渐成为国内外的研究热点。由于受到行人行为的动态变化、监控环境的复杂多变、设备配置的参差不齐和监控视频的数量巨大等因素影响,行人重识别面临以下四个方面的挑战:1)如何获取区分能力强的行人外观特征快速过滤掉不相关行人;2)如何减轻拍摄视角变化对步态识别准确率的影响;3)如何直接从不规则步态序列中自动学习显著的周期性时空信息对步态序列进行特征表示;4)如何融合行人外观和步态特征对大规模行人进行快速高效的重识别。因此,针对上述挑战,本文围绕行人多级外观特征融合、行人步态的视角不变性特征提取、不规则步态的显著周期性时空信息学习三个方面提出了一系列模型和方法,构建了一种渐进式行人重识别框架,并在公开数据集上进行了验证。本文的主要贡献总结如下:(1)行人多级外观特征融合。本文提出了孪生灵感结构网络模型来学习行人外观的高级语义特征。对于行人外观的低、中级特征,提取了行人外观的颜色、形状、纹理等视觉特征;对于行人外观的高级语义特征,采用孪生灵感结构处理行人外观的类内差异大、类间差异小问题,提高了外观语义对不同行人的辨别能力;最后,采用零空间度量学习方法将多级外观特征融合为一种综合特征表示,增强了行人外观的区分能力。(2)步态图像的任意视角转换方法。行人拍摄视角变化发生最为频繁且对步态识别性能影响很大,为此我们提出了循环一致的注意力生成对抗网络模型将源视角步态图像映射到目标视角下完成步态识别任务,用于提高交叉视角步态识别性能。首先,构建了具有两个分支的生成器网络同时感知步态图像的全局上下文信息和局部身体细节;其次,设计了注意力判别网络自适应地为步态图像的局部区域分配不同的权重,有助于在判别过程中挖掘重要细节信息以改善合成步态图像的质量;最后,引入步态图像重建网络和正向循环一致性损失函数,利用源视角域和目标视角域中的数据先验分布,完成步态图像的视角转换,用于保持步态图像的身份信息。(3)不规则步态的显著周期性时空信息提取方法。实际应用中的行人步态总是不规则的,导致步态识别性能严重下降,我们提出了显著的空间-时间信息总结网络模型直接从不规则步态序列中自动学习辨别能力强的显著性步态周期特征用于步态识别任务。首先,设计了具有常规卷积和残差块结构的注意力单元,挖掘空间特征图中与行人身份相关的显著语义区域;其次,采用LSTM对不规则步态的周期性运动进行建模;最后,设计了一种注意力时序总结单元,自适应地获取有助于步态识别的显著性周期特征来提高不规则步态的识别性能。(4)渐进式行人重识别框架。我们设计了一种渐进式行人重识别框架实现在大规模行人中快速准确地识别目标行人,它包括两个阶段:基于多级外观的行人粗略过滤和基于行人步态的精确搜索。在第一个阶段,使用行人图像的颜色、形状、纹理和高级语义等多级外观特征由粗到细逐步地快速过滤掉无关行人,形成相关行人搜索子空间,大大缩小了搜索范围;第二个阶段利用步态序列的显著周期性特征在相关行人搜索子空间中完成精确识别。该框架不仅能够显著降低行人重识别的时间开销,同时保证了行人重识别的准确率。最后,我们构建了融合行人外观和步态特征的渐进式行人重识别原型系统,并在公开数据集上验证了原型系统的有效性。
【学位授予单位】：北京邮电大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP391.41
【图文】：

行人,领域,人员,公共安全管理

标行人身份、构建其行动轨迹和理解其行为活动己经成为亟待解决的重要课题，在逡逑刑事侦查、安全防范（简称“安防”）、公共安全管理、行人行为分析等领域有着广泛逡逑的应用前景，如图１－１所示。逡逑为了实现以人为中心的安全防范、公共安全管理等领域的信息化、智能化，促逡逑进视频监控由“看得见、看得清”的旧时代向“看得懂”的新时代迈进，学术界和逡逑工业界的专家学者逐渐将视频监控系统中行人身份识别的相关研究视为计算机视逡逑觉领域的当前研究热点。近些年，在计算机视觉和多媒体领域的重要国际学术会逡逑议（ＣＶＰＲ、ＩＣＣＶ、ＡＣＭＭＭ、ＥＣＣＶ邋等）和顶级国际期刊（ＩＥＥＥ邋Ｔｒａｎｓａｃｔｉｏｎｓ邋ｏｎ逡逑Ｐａｔｔｅｒｎ邋Ａｎａｌｙｓｉｓ邋ａｎｄ邋Ｍａｃｈｉｎｅ邋Ｉｎｔｅｌｌｉｇｅｎｃｅ，邋ＩＥＥＥ邋Ｔｒａｎｓａｃｔｉｏｎｓ邋ｏｎ邋Ｉｍａｇｅ邋Ｐｒｏｃｅｓｓｉｎｇ，邋ＩＥＥＥ逡逑Ｔｒａｎｓａｃｔｉｏｎｓ邋ｏｎ邋Ｍｕｌｔｉｍｅｄｉａ等）上陆续出版了一些行人身份识别相关的学术论文。逡逑ＣＶＰＲ２０１７将行人分析（Ａｎａｌｙｚｉｎｇ邋Ｈｕｍａｎｓ）相关成果作为一个Ｓｅｓｓｉｏｎ供专家学者逡逑探讨交流。ＣＶＰＲ２０１８展示了一些行人身份识别相关研究成果，更是吸引了计算机视逡逑１逡逑

行人,流程,示意图

行人重识别（Ｐｅｒｓｏｎ邋ｒｅ－ｉｄｅｎｔｉｆｉｃａｔｉｏｎ），是指输入一个目标行人图像或视频片逡逑段，在拍摄区域不重叠的多摄像头监控网络中搜索与目标行人身份相同的行人。如逡逑图１－２所示，在覆盖区域无重叠的监控视频中搜索目标行人，获取他的出现位置和时逡逑间，进而可以构建目标行人的活动轨迹，为理解其行为表现提供依据。通过行人重识逡逑别系统，安全管理部门可以准确、便捷地在海量监控视频数据中发现、定位、追踪逡逑目标行人，并利用这些信息分析目标行人的行为活动。本文以视频监控为背景，研逡逑究以重识别行人身份为目标的关键技术。逡逑针对视频监控网络，一个完整的行人重识别系统通常由行人检测、行人跟踪和逡逑行人重识别三个模块组成，如图１－３所示。行人检测模块利用计算机视觉技术判断原逡逑始视频帧中是否存在行人并对其进行精确定位，使用边界矩形框提取行人图片生成逡逑行人图像库，它们通常来自于不同摄像头拍摄的不连续帧；在单个摄像机拍摄的视逡逑频中

行人,基本结构,典型研究

可以将行人重识别分为基于图像的行人重识别和基于视频的行人重识别两类。逡逑在基于图像的行人重识别研宄中，数据源为不同摄像机拍摄的行人图像，识别过程逡逑中仅仅使用了图像的空间信息描述行人的外观特征，典型研究成果［１８］如图１－４所示。逡逑基于视频的行人重识别方法以不同摄像机拍摄的行人视频片段为数据源，识别过程逡逑中不仅考虑了视频帧图像的空间信息，而且还利用了视频帧之间的时序信息（即行逡逑人的运动信息），典型研究成果［１Ｇ］如图１－５所示。逡逑４逡逑

【相似文献】