基于深度学习的室内人群检测及计数算法研究
发布时间：2020-11-08 12:38
随着物质生活水平的提高,世界人口不断增加,人们社会活动越来越密集,如机场、车站、大型商业中心等,这给公共管理和公共安全带来了巨大挑战。而当下视频监控多为值守人员长时间盯守,而值守人员长时间工作容易产生疲劳现象,这就会疏漏异常事件的发生,并且对已发生事件无法及时预警。因此,需要设计一个能够自动监控人群动向、对人群密集程度自动分析、及时预警危险事情的智能系统,这对重大公共安全事件和商业分析都具有重要现实意义。近年来,人群计数算法开始结合机器视觉技术和深度学习技术并取得重大突破。但是目前取得较好发展的人群计数算法都是针对室外场景,针对室内场景下人群计数和密度估计研究都是借助人脸识别或者行人识别。但室内监控相机安装角度多样、室内人群分布不均匀,使得人脸识别和行人识别算法具有较大局限性。因此,本文采用深度卷积神经网络技术,利用人头检测思路突破其他检测方法在室内场景下的局限。首先实现室内人群检测,再根据检测结果计算人群数量和回归人群密度图。但室内人头检测依然存在以下挑战,为此本文提出了不同的解决思路:(1)由于摄像头安装角度问题,导致室内人头目标尺度分布不均,尤其是远离摄像头部分,尺度小,且人群密集,很容易造成模型漏检率高的问题。因此,本文利用空洞卷积操作扩大感受野,增加网络对不同尺度覆盖,构造了一种可以提取多个尺度的特征提取模块。同时,根据不同尺度特征在网络层中的传播特性,设计了不同尺度等级的特征融合模块,对不同尺度分布的特征层进行融合。(2)由于个体自由度高,导致人群分布杂乱且密度差异大,采用固定卷积核的网络会由于样本特征分布不均匀产生发散结果。因此,本文利用空间注意力模块提取全局信息,设计了一种层注意力模块融合全局和局部信息,提取目标分布信息,从而实现人群检测和计数。(3)室内场景背景复杂,人头的颜色、形状等低级特征容易和背景中其他物体重叠,导致人群检测的误识别率增加。本文根据分析将背景特征对人头的干扰分为两类:一类是人体外其他背景物体的特征干扰,我们构造了一种混合注意力模块,用于指导网络增强对目标区域的关注;一类是人头本身差异性导致的特征干扰,我们构造了一种中心感受野模块,来模拟人眼视觉感受野对目标进行关键特征提取。由实验结果显示,本文提出的方法相比同类其他检测和计数算法,在召回率和人数统计准确率和计数的相关指标上均实现很大提升。为深度卷积网络在智能视频分析领域的研究提供了不同设计思路。
【学位单位】：中北大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TP391.41;TP18
【部分图文】：
中北大学学位论文2图1-1公共场合下的密集人群Figure1-1Crowdsinpublicplace（1）公共场所安全和商业分析实时地人群计数和分布预测可以增强公共场所安全，例如防止公共场所人群踩踏和发生火灾时及时疏散人群。在上海发生的“12.31”外滩踩踏事故中，根据之后调查报告显示，该事件就是因为人工措施不完善，虽然布局了监控探头，但是值守人员预警和分析能力不足，导致发生了这起惨案[3]。而如果若能通过智能视频监控中人群计数功能对密集人群及时预警，则可避免类似事故地发生。实时地用户流动检测同样可以帮助商家进行商业策略调整，如超市可以根据人群流动分析出热门区域商品，及时补充人们商品的数量从而实现商业利益最大化。（2）异常安全问题监测对国家安全事件及时反馈并预警是智能视频监控系统的重要子部分，旨在实时检测提取异常事件及行为[4]。世界各国研究者们都在不断提升监控视频的智能分析能力，例如中国的“天眼计划”。这些分析主要包括异常人员行为、人群分布及人群滞留等。通过这些分析可以及早地发现威胁社会和国家安全的事件并可以及时地制止。目前，已经有较多工作针对室外场景下的智能监控视频分析和人群计数进行了探索和阐述[5]。但是针对室内场景下人群计数方法还较少，室内场景下人群计数和分析结果，同样对于商业活动、教学活动、公共安全具有重要作用。因此，本课题选择室内监控视频下的人群计数问题作为突破口，探究基于深度学习和机器视觉计数的室内监控场景下人群检测，并根据检测结果获得人群数量和分布。不同场景下人流计数算法研究具有重要理论价值和丰富应用前景。目前，研究者们已经针对室外场景下的大规模人群计数问题开展了广泛研究并不断取得突破。但由于思
?巳杭剖?惴ú欢先〉?突破。在国内和国际顶级会议和期刊上，研究者们不再仅仅局限在室外人群计数算法的探索[7,8,9,10,11,12]，而是把目光同样也转向了室内人群计数领域。同时，随着各国，尤其是我国迈入新时代以来，不断对公共场合安全需求的提高，各类型智慧监控视频系统层出不穷。鉴于深度学习技术在机器视觉领域的飞速发展，深度学习帮助人们突破了很多难题，比如：基于深度学习的人脸识别精度超越了人类[13,14,15,16]、基于深度强化学习的AlphaGo在围棋中打败了李世石、柯洁等人类世界冠军[17]，如图1-3所示。图1-3AlphaGo在围棋中击败世界冠军Figure1-3AlphaGobeattheworldchampioninGo因此，鉴于深度学习算法拥有的自动特征学习能力，室内人群计数算法与其结合也实现了不断进步。在不同场景下，基于深度神经网络的人群计数算法相比于传统视觉算法来说，都表现除了极大的性能提升，这也将是未来一段时间的研究风口。
中北大学学位论文14公开，是深度学习领域首个用来进行人群计数的训练及测试数据样本，如图2-1所示。研究者们将摄像机架设在人行道上进行连续拍摄获得该数据集。该数据集中训练样本包含2000张分辨率为238*158大小的视频图像帧，其中训练样本均进行了灰度化处理；训练标签为间隔五帧中每个行人真实检测框的标注构成。并且该数据集还提供了感兴趣区域，直接忽略场景中不必要的移动物体，比如树、花草等。该数据集样本中行人个数为49885。该数据集根据使用目的不同，分为训练集和测试集。数据集中人群密度低，人群稀疏，一幅图像中平均有15人。由于数据集从单一摄像头针对固定场景进行拍摄，因此该图像中场景透视角度没有变换，场景相对单一，无法很好反映复杂的人群场景。图2-1UCSD数据集样例Figure2-1UCSDdatasetssample（2）Mall人群数据集。相比于UCSD数据集，Mall除了具有各种人群分布密度之外，还具有不同的行人运动方式，既有移动的行人同时也有短时间间隔帧中相对静止的行人如图2-2所示。此外，该数据集采集时还采用不同透视角度进行拍摄，这保证了数据集中包含丰富的形变行人。该数据集共有2000张分辨率320*240的图像。其中包含行人6000个。训练样本由800张图片构成，剩下1200帧用于评估。图2-2Mall数据集样例Figure2-2Malldatasetssample
【参考文献】
本文编号：2874795
【学位单位】：中北大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TP391.41;TP18
【部分图文】：
中北大学学位论文2图1-1公共场合下的密集人群Figure1-1Crowdsinpublicplace（1）公共场所安全和商业分析实时地人群计数和分布预测可以增强公共场所安全，例如防止公共场所人群踩踏和发生火灾时及时疏散人群。在上海发生的“12.31”外滩踩踏事故中，根据之后调查报告显示，该事件就是因为人工措施不完善，虽然布局了监控探头，但是值守人员预警和分析能力不足，导致发生了这起惨案[3]。而如果若能通过智能视频监控中人群计数功能对密集人群及时预警，则可避免类似事故地发生。实时地用户流动检测同样可以帮助商家进行商业策略调整，如超市可以根据人群流动分析出热门区域商品，及时补充人们商品的数量从而实现商业利益最大化。（2）异常安全问题监测对国家安全事件及时反馈并预警是智能视频监控系统的重要子部分，旨在实时检测提取异常事件及行为[4]。世界各国研究者们都在不断提升监控视频的智能分析能力，例如中国的“天眼计划”。这些分析主要包括异常人员行为、人群分布及人群滞留等。通过这些分析可以及早地发现威胁社会和国家安全的事件并可以及时地制止。目前，已经有较多工作针对室外场景下的智能监控视频分析和人群计数进行了探索和阐述[5]。但是针对室内场景下人群计数方法还较少，室内场景下人群计数和分析结果，同样对于商业活动、教学活动、公共安全具有重要作用。因此，本课题选择室内监控视频下的人群计数问题作为突破口，探究基于深度学习和机器视觉计数的室内监控场景下人群检测，并根据检测结果获得人群数量和分布。不同场景下人流计数算法研究具有重要理论价值和丰富应用前景。目前，研究者们已经针对室外场景下的大规模人群计数问题开展了广泛研究并不断取得突破。但由于思
?巳杭剖?惴ú欢先〉?突破。在国内和国际顶级会议和期刊上，研究者们不再仅仅局限在室外人群计数算法的探索[7,8,9,10,11,12]，而是把目光同样也转向了室内人群计数领域。同时，随着各国，尤其是我国迈入新时代以来，不断对公共场合安全需求的提高，各类型智慧监控视频系统层出不穷。鉴于深度学习技术在机器视觉领域的飞速发展，深度学习帮助人们突破了很多难题，比如：基于深度学习的人脸识别精度超越了人类[13,14,15,16]、基于深度强化学习的AlphaGo在围棋中打败了李世石、柯洁等人类世界冠军[17]，如图1-3所示。图1-3AlphaGo在围棋中击败世界冠军Figure1-3AlphaGobeattheworldchampioninGo因此，鉴于深度学习算法拥有的自动特征学习能力，室内人群计数算法与其结合也实现了不断进步。在不同场景下，基于深度神经网络的人群计数算法相比于传统视觉算法来说，都表现除了极大的性能提升，这也将是未来一段时间的研究风口。
中北大学学位论文14公开，是深度学习领域首个用来进行人群计数的训练及测试数据样本，如图2-1所示。研究者们将摄像机架设在人行道上进行连续拍摄获得该数据集。该数据集中训练样本包含2000张分辨率为238*158大小的视频图像帧，其中训练样本均进行了灰度化处理；训练标签为间隔五帧中每个行人真实检测框的标注构成。并且该数据集还提供了感兴趣区域，直接忽略场景中不必要的移动物体，比如树、花草等。该数据集样本中行人个数为49885。该数据集根据使用目的不同，分为训练集和测试集。数据集中人群密度低，人群稀疏，一幅图像中平均有15人。由于数据集从单一摄像头针对固定场景进行拍摄，因此该图像中场景透视角度没有变换，场景相对单一，无法很好反映复杂的人群场景。图2-1UCSD数据集样例Figure2-1UCSDdatasetssample（2）Mall人群数据集。相比于UCSD数据集，Mall除了具有各种人群分布密度之外，还具有不同的行人运动方式，既有移动的行人同时也有短时间间隔帧中相对静止的行人如图2-2所示。此外，该数据集采集时还采用不同透视角度进行拍摄，这保证了数据集中包含丰富的形变行人。该数据集共有2000张分辨率320*240的图像。其中包含行人6000个。训练样本由800张图片构成，剩下1200帧用于评估。图2-2Mall数据集样例Figure2-2Malldatasetssample
【参考文献】
相关期刊论文 前6条
1 覃勋辉;王修飞;周曦;刘艳飞;李远钱;;多种人群密度场景下的人群计数[J];中国图象图形学报;2013年04期
2 武文斌;;智能视频分析的现状与未来发展趋势[J];科技情报开发与经济;2011年31期
3 尚邵湘;;平安城市 促进视频监控大发展[J];中国公共安全(综合版);2008年11期
4 卢湖川;张明修;张继霞;马洪连;;一种有效的实时人群计数方法[J];计算机工程;2008年05期
5 唐晓衡;夏利民;;基于Boosting模糊分类的入侵检测[J];计算机工程;2008年05期
6 李强;张钹;;一种基于图像灰度的快速匹配算法[J];软件学报;2006年02期
相关博士学位论文 前2条
1 张友梅;基于注意力卷积神经网络的人群计数算法研究[D];山东大学;2019年
2 傅慧源;面向人群监管的智能视频场景理解技术研究[D];北京邮电大学;2014年
相关硕士学位论文 前2条
1 刘彬;基于对抗深度学习的人脸检测研究[D];青岛科技大学;2018年
2 马海军;监控场景中人数统计算法的研究与应用[D];安徽大学;2016年
本文编号：2874795
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/2874795.html
