基于BRNN和注意力机制的视频行人再识别方法研究
发布时间：2020-05-15 10:45
【摘要】：近年来,如何在监控视频中寻找目标人物或是确定两段不同行人视频中是否为同一目标,成为时下计算机视觉研究领域的研究重点之一。此问题被称之为行人再识别(person re-id)。行人再识别问题在视频监控领域尤其是公安刑侦和安防监控中具有非常重要的应用价值。行人再识别问题一般分为基于图像的和基于视频的两种。由于视频数据相较于图像数据而言更加复杂,并且基于视频的形式也更加符合实际行人再识别的应用场景,所以基于视频的行人再识别方法有更广阔的研究价值和应用前景。本文集中研究了在给定行人视频的基础上进行行人再识别的相关算法,尤其是基于深度学习的方法,探索如何有效提高行人再识别的准确率。本文在介绍了卷积神经网络(CNN)和循环神经网络(RNN)以及它们的一些扩展结构的基础上,综合视频行人再识别中出现的主要问题和视频数据的特征,提出了两种基于深度神经网络进行视频行人再识别的方法,一种方法重点研究如何学习视频中的有效时序信息,而另一种算法则探索如何自动学习分辨行人视频中的有效信息和干扰信息,从而提高行人再识别的准确率。本文的研究内容和主要工作如下:(1)在对现有算法研究基础上,改进了仅利用单向循环神经网络(RNN)进行视频行人再识别的方法中,时序信息的学习不足的问题,提出了利用双向循环神经网络(BRNN)来同时学习一段视频的前后两个方向的时序特征,实现对整体视频时序特征的有效学习,从而提高行人再识别的准确率。在配合卷积神经网络(CNN)提取图像空间特征的基础上,基于BRNN的行人再识别方法取得了较高的行人再识别准确率。(2)针对行人视频中存在的尺度变化,遮挡严重等问题,提出了一种利用基于深度神经网络的注意力机制来减少干扰信息的影响。结合多尺度学习的思想,文中的注意力机制以视频中每帧的空间特征为基础,自动学习特征对应区域的重要性,使得算法关注行人视频中的关键区域,同时减少无效甚至干扰信息的影响,从而提高模型特征提取的有效性,在多个视频行人再识别数据库上取得了较高的准确率。
【图文】：
是距离学习中的一个部分，而另一部分则会使用己经成熟的现有算法。在确定了特征提逡逑取方法之后，大部分研究工作都会通过和不同度量学习方法的联合实验来确定最适合当逡逑前特征的度量学习方法。比如图２－１中Ｌｉｕ［７］的工作中，首先通过视频的空间和时序分逡逑割得到一系列的图像块来表示视频，接着通过Ｆｉｓｈｅｒ■向量的学习来获得视频的抽象特逡逑征。在得到图像的特征后，他们通过对欧式距离，ＫＩＳＳＭＥ的对比实验证明了邋ＫＩＳＳＭＥ度逡逑量学习在他们的基础上能够取得更好的识别准确率。逡逑＿一邋＿逡逑Ｓｐａｔｉａｌ邋＾逦ＴｅｍＰ0ｒａ＇逡逑Ｓｅｇｍｅｎｔａｔｉｏｎ，灥邋ｆｅｇｍｅｎｔａｔ丨０ｎ逡逑＇ＪＳｒ邋Ｂｏｄｙ－ａｃｔｉｏｎ逡逑，，Ｕｎｉｔ逡逑Ｆｉｓｈｅｒ邋Ｖｅｃｔｏｒｓ逡逑ｈ－ａ邋ｔｏｎ逡逑Ｈ邋ｋｉ邋ｔｏｎ逡逑—Ｃｏｎｃａｔｅｎａｔｅ逡逑．￣邋－逦，ｒ—．．ｎｊｒｒｆＨＴｌ逡逑图２－１邋Ｌｉ＃ｌ工作中的视频特征提取方法图示逡逑非端对端的方法一般固定一部分方法基础上，实现另一部分的最优，但是并不能保逡逑证是总体模型的最优解。所以为了让特征提取和距离度量学习能够有效的进行联合优化，逡逑获得整体行人再识别算法的最优识别率
和度量学习融合在一个模型中，，实现端对端的训练，不仅让两个步骤的优化更加协调，逡逑同时可以实现整体模型的最优。ＭｃＬａｕｇｈｌｉｎ等人ａ的工作是典型的基于深度学习的端对逡逑端模型，由图２－２所示。逡逑Ｉｄｅｎｔ．邋Ｃｏｓｔ邋Ｓｉａｍｅｓｅ邋Ｃｏｓｔ邋Ｉｄｅｎｔ．邋Ｃｏｓｔ逡逑ｔ逦ｆｔ邋ｉ邋－．．．．邋Ｖ逡逑Ｓｅｑ．邋Ｆｅａｔｕｒｅ邋逦邋逦邋Ｓｅｑ．邋Ｆｅａｔｕｒｅ逡逑ｔ逦ｔ逡逑Ｔｅｍｐｏｒａｌ邋Ｐｏｏｌｉｎｇ逦Ｔｅｍｐｏｒａｌ邋Ｐｏｏｌｉｎｇ逡逑ｔ邋ｔ邋ｔ逦ｔ邋ｔ邋ｔ逡逑ＲＮＮ邋－？邋ＲＮＮ邋－？ｆＲＮＮ＾逦｜邋ＲＮＮ邋＾邋ＲＮＮ邋ｋ邋ＲＮＮ逡逑￣ｔ￣￣邋￣ｒ￣邋￣ｉ￣逦￣￣ｒ￣邋￣￣ｒ￣邋￣ｒ￣逡逑ＣＮＮ邋ＣＮＮ邋ｉ邋｜邋ＣＮＮ邋［逦［邋ＣＮＮ邋ＣＮＮ邋ＣＮＮ逡逑ｈ逦９逦ｈ逦ｉｔ逦ｉｆ逦ｍ逡逑图２－２端对端模型示例逡逑在此方法中，ＣＮＮ和ＲＮＮ是特征提取的部分，而损失函数的设计则包含了距离度量学习逡逑在其中，最终的测试阶段，只需要比较特征间的欧式距离就可以得到行人匹配的结果。逡逑以目前的研究情况而言，这种基于深度学习的端对端模型一般都取得了比传统非端对端逡逑模型更好的行人再识别的准确率，同时基于深度学习的端对端模型也是当下行人再识别逡逑问题的热点研究方向。逡逑２．３行人再识别算法的评价方法逡逑随着越来越多的行人再识别算法的涌规，如何评价这些方法的好坏，即如何量化的逡逑评定行人再识别的准确率，也是研究行人再识别算法中的重要一环。一般而言，通过在逡逑几个被认可的公开数据库上获得的识别指标的数值高低
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP391.41;TN948.6
本文编号：2664907
【图文】：
是距离学习中的一个部分，而另一部分则会使用己经成熟的现有算法。在确定了特征提逡逑取方法之后，大部分研究工作都会通过和不同度量学习方法的联合实验来确定最适合当逡逑前特征的度量学习方法。比如图２－１中Ｌｉｕ［７］的工作中，首先通过视频的空间和时序分逡逑割得到一系列的图像块来表示视频，接着通过Ｆｉｓｈｅｒ■向量的学习来获得视频的抽象特逡逑征。在得到图像的特征后，他们通过对欧式距离，ＫＩＳＳＭＥ的对比实验证明了邋ＫＩＳＳＭＥ度逡逑量学习在他们的基础上能够取得更好的识别准确率。逡逑＿一邋＿逡逑Ｓｐａｔｉａｌ邋＾逦ＴｅｍＰ0ｒａ＇逡逑Ｓｅｇｍｅｎｔａｔｉｏｎ，灥邋ｆｅｇｍｅｎｔａｔ丨０ｎ逡逑＇ＪＳｒ邋Ｂｏｄｙ－ａｃｔｉｏｎ逡逑，，Ｕｎｉｔ逡逑Ｆｉｓｈｅｒ邋Ｖｅｃｔｏｒｓ逡逑ｈ－ａ邋ｔｏｎ逡逑Ｈ邋ｋｉ邋ｔｏｎ逡逑—Ｃｏｎｃａｔｅｎａｔｅ逡逑．￣邋－逦，ｒ—．．ｎｊｒｒｆＨＴｌ逡逑图２－１邋Ｌｉ＃ｌ工作中的视频特征提取方法图示逡逑非端对端的方法一般固定一部分方法基础上，实现另一部分的最优，但是并不能保逡逑证是总体模型的最优解。所以为了让特征提取和距离度量学习能够有效的进行联合优化，逡逑获得整体行人再识别算法的最优识别率
和度量学习融合在一个模型中，，实现端对端的训练，不仅让两个步骤的优化更加协调，逡逑同时可以实现整体模型的最优。ＭｃＬａｕｇｈｌｉｎ等人ａ的工作是典型的基于深度学习的端对逡逑端模型，由图２－２所示。逡逑Ｉｄｅｎｔ．邋Ｃｏｓｔ邋Ｓｉａｍｅｓｅ邋Ｃｏｓｔ邋Ｉｄｅｎｔ．邋Ｃｏｓｔ逡逑ｔ逦ｆｔ邋ｉ邋－．．．．邋Ｖ逡逑Ｓｅｑ．邋Ｆｅａｔｕｒｅ邋逦邋逦邋Ｓｅｑ．邋Ｆｅａｔｕｒｅ逡逑ｔ逦ｔ逡逑Ｔｅｍｐｏｒａｌ邋Ｐｏｏｌｉｎｇ逦Ｔｅｍｐｏｒａｌ邋Ｐｏｏｌｉｎｇ逡逑ｔ邋ｔ邋ｔ逦ｔ邋ｔ邋ｔ逡逑ＲＮＮ邋－？邋ＲＮＮ邋－？ｆＲＮＮ＾逦｜邋ＲＮＮ邋＾邋ＲＮＮ邋ｋ邋ＲＮＮ逡逑￣ｔ￣￣邋￣ｒ￣邋￣ｉ￣逦￣￣ｒ￣邋￣￣ｒ￣邋￣ｒ￣逡逑ＣＮＮ邋ＣＮＮ邋ｉ邋｜邋ＣＮＮ邋［逦［邋ＣＮＮ邋ＣＮＮ邋ＣＮＮ逡逑ｈ逦９逦ｈ逦ｉｔ逦ｉｆ逦ｍ逡逑图２－２端对端模型示例逡逑在此方法中，ＣＮＮ和ＲＮＮ是特征提取的部分，而损失函数的设计则包含了距离度量学习逡逑在其中，最终的测试阶段，只需要比较特征间的欧式距离就可以得到行人匹配的结果。逡逑以目前的研究情况而言，这种基于深度学习的端对端模型一般都取得了比传统非端对端逡逑模型更好的行人再识别的准确率，同时基于深度学习的端对端模型也是当下行人再识别逡逑问题的热点研究方向。逡逑２．３行人再识别算法的评价方法逡逑随着越来越多的行人再识别算法的涌规，如何评价这些方法的好坏，即如何量化的逡逑评定行人再识别的准确率，也是研究行人再识别算法中的重要一环。一般而言，通过在逡逑几个被认可的公开数据库上获得的识别指标的数值高低
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP391.41;TN948.6
【相似文献】
相关期刊论文 前2条
1 林丽玉;翁祖茂;;基于改进的BRNN网络的二级结构预测[J];仪器仪表学报;2006年S1期
2 林丽玉;黄高昂;左瑞娟;;改进的新BRNN网络集成及其二级结构预测的研究[J];计算机与应用化学;2008年08期
相关硕士学位论文 前1条
1 喻晓东;基于BRNN和注意力机制的视频行人再识别方法研究[D];山东大学;2018年
本文编号：2664907
本文链接：https://www.wllwen.com/kejilunwen/wltx/2664907.html
