面向视频行人检测的卷积神经网络硬件实现与性能分析
发布时间：2021-12-10 21:47
近年来,卷积神经网络在行人检测领域被广泛应用。为将基于卷积神经网络的视频行人检测算法推向工程应用,实际工程中算法设计、硬件选型、算法实现等问题亟待解决。多硬件平台的算法实现与性能分析将为实际工程应用提供重要的参考依据。在此背景下,本文研究视频行人检测应用中卷积神经网络的硬件实现与性能分析问题,主要完成的工作如下:（1）针对视频输入下由运动模糊、遮挡等造成漏检的问题,提出了基于卡尔曼滤波的SSD网络后处理算法。卡尔曼滤波用于传播SSD网络的检测结果并提升、稳定行人的置信度。该算法平衡了漏检率、检测速度和硬件实现难度三方面的关系。经公开和私有数据集的训练和测试,验证了该算法的有效性,同时也为后续多硬件平台的实现奠定基础。（2）在卷积神经网络硬件实现需求和硬件平台对比分析的基础上,完成了GPU、FPGA和嵌入式三种硬件平台的选型及各平台下的卷积神经网络算法的硬件实现与优化。经对比测试,结果表明三种硬件平台下的设计与实现正确,能有效完成行人的检测。（3）针对三种硬件平台下算法的实现结果,从漏检率和计算速度两方面进行了性能的对比与分析。根据实验和调研结果,从网络计算量的选择、功耗、开发难度差异三...
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：92 页
【学位级别】：硕士
【部分图文】：
一费米架构oPUI翁lFigl一ZGPUwithFen刀larch针ec加r.l”]
Ｆｉｇ．?１－３?Ｔｈｅ?ｉｍａｇｅｓ?ｆｒｏｍ?ｃｏｍｍｏｎ?ｐｕｂｌｉｃ?ｐｅｄｅｓｔｒｉａｎ?ｄｅｔｅｃｔｉｏｎ?ｄａｔａｓｅｔｓ［５３＂５６］??根据数据集的图像数量、分辨率和行人遮挡程度三方面因素考虑，本文在训??练阶段采用Ｃａｌｔｅｃｈ训练集、部分ＴＵＤ－Ｂｒｕｓｓｅｌｓ和部分ＥＴＨ的混合数据集训练算??法，测试阶段选用Ｃａｌｔｅｃｈ测试集检验算法性能。Ｃａｌｔｅｃｈ数据集具有大量有标签的??数据，包含较多多样的行人，使得算法能够从大量训练样本中学习到更为鲁棒的??特征。Ｃａｌｔｅｃｈ数据集的数据格式为视频序列，便于检验基于视频的ＣＮＮ算法性能。??Ｃａｌｔｅｃｈ数据集由１１个子集构成，每个子集包含６到１８段视频。前６个子集（ｓｅｔＯＯ??一ｓｅｔ０５）用于训练，后５个子集（ｓｅｔ０６—ｓｅｔｌＯ）用于测试。由于Ｃａｌｔｅｃｈ中巾贞间相??关性较大，在训练集中采取每５帧抽取１帧的方法处理数据。Ｃａｌｔｅｃｈ中含有遮挡??的行人和密集人群较少，为提高算法对遮挡的鲁棒性，本文在Ｃａｌｔｅｃｈ数据集上混??合了部分ＴＵＤ－Ｂｒｕｓｓｅｌｓ和ＥＴＨ数据，用于提高有遮挡的行人在训练集中的比例。??混合训练集的相关彳目息如表１－２所不：??Ｃａｌｔｅｃｈ数据集在提供视频序列的基础上还制定了通用的评估标准、开源了相??应的评估代码，便于研究人员评估算法的检测性能。目前，大量基于ＣＮＮ的行人??
（２）私有行人检测数据集??现有公开数据集多为车载视频，具有动态的背景。为了进一步检验在实际视??频监控应用中的检测性能，本文采用由课题组成员共同采集的私有数据集验证在??实际视频监控场景下的检测性能。私有数据集的建立步骤如下：??１）图像数据采集。课题组成员共同搭建数据采集平台并实现了视频数据的采??集。数据采集平台由摄像机、三脚架和笔记本电脑构成。采集的数据包括校园场??景和铁路场景两种。??２）图像标注。为提高行人标注的效率，使用ＡＣＦ算法检测行人，实现行人??的自动预标注［３】。在自动预标注的基础上，使用Ｍａｔｌａｂ?Ｔｒａｉｎｉｎｇ?Ｉｍａｇｅ?Ｌａｂｅｌｅｒ?Ｔｏｏｌ??完成行人包围框的精修。标注过程中行人遮挡面积超过８０％，行人宽度小于图像??宽度的１％的行人不予标注。??３）标注文件格式转换。模型的训练使用．ｘｍｌ格式标注文件，因此将Ｍａｔｌａｂ??Ｔｒａｉｎｉｎｇ?Ｉｍａｇｅ?Ｌａｂｅｌｅｒ?Ｔｏｏｌ中生成的．ｍａｔ标注文件通过编写程序转换为＿ｘｍｌ格式。??私有数据集的图像样本如图１－４所示：??
【参考文献】：
期刊论文
[1]基于矩阵转换的卷积计算优化方法[J]. 方玉玲,陈庆奎. 计算机工程. 2019(07)
[2]CNN卷积计算在移动GPU上的加速研究[J]. 王湘新,时洋,文梅. 计算机工程与科学. 2018(01)
[3]基于Jetson TK1和深度卷积神经网络的行人检测[J]. 冯帅,张龙,贺小慧. 信息技术. 2017(10)
[4]基于卷积神经网络（CNN）和CUDA加速的实时视频人脸识别[J]. 孔英会,王之涵,车辚辚. 科学技术与工程. 2016(35)
硕士论文
[1]行人检测系统的设计与实现[D]. 高磊.华侨大学 2018
[2]基于SDSoC的卷积神经网络算法实现[D]. 顾含迪.北京化工大学 2018
[3]基于SSD的行人检测与跟踪方法研究[D]. 李海翔.中国科学技术大学 2018
[4]基于卷积神经网络的人脸验证技术研究[D]. 郭申.北京工业大学 2017
[5]基于深度卷积网络的目标检测系统[D]. 杨凯.北京邮电大学 2017
本文编号：3533449
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：92 页
【学位级别】：硕士
【部分图文】：
一费米架构oPUI翁lFigl一ZGPUwithFen刀larch针ec加r.l”]
Ｆｉｇ．?１－３?Ｔｈｅ?ｉｍａｇｅｓ?ｆｒｏｍ?ｃｏｍｍｏｎ?ｐｕｂｌｉｃ?ｐｅｄｅｓｔｒｉａｎ?ｄｅｔｅｃｔｉｏｎ?ｄａｔａｓｅｔｓ［５３＂５６］??根据数据集的图像数量、分辨率和行人遮挡程度三方面因素考虑，本文在训??练阶段采用Ｃａｌｔｅｃｈ训练集、部分ＴＵＤ－Ｂｒｕｓｓｅｌｓ和部分ＥＴＨ的混合数据集训练算??法，测试阶段选用Ｃａｌｔｅｃｈ测试集检验算法性能。Ｃａｌｔｅｃｈ数据集具有大量有标签的??数据，包含较多多样的行人，使得算法能够从大量训练样本中学习到更为鲁棒的??特征。Ｃａｌｔｅｃｈ数据集的数据格式为视频序列，便于检验基于视频的ＣＮＮ算法性能。??Ｃａｌｔｅｃｈ数据集由１１个子集构成，每个子集包含６到１８段视频。前６个子集（ｓｅｔＯＯ??一ｓｅｔ０５）用于训练，后５个子集（ｓｅｔ０６—ｓｅｔｌＯ）用于测试。由于Ｃａｌｔｅｃｈ中巾贞间相??关性较大，在训练集中采取每５帧抽取１帧的方法处理数据。Ｃａｌｔｅｃｈ中含有遮挡??的行人和密集人群较少，为提高算法对遮挡的鲁棒性，本文在Ｃａｌｔｅｃｈ数据集上混??合了部分ＴＵＤ－Ｂｒｕｓｓｅｌｓ和ＥＴＨ数据，用于提高有遮挡的行人在训练集中的比例。??混合训练集的相关彳目息如表１－２所不：??Ｃａｌｔｅｃｈ数据集在提供视频序列的基础上还制定了通用的评估标准、开源了相??应的评估代码，便于研究人员评估算法的检测性能。目前，大量基于ＣＮＮ的行人??
（２）私有行人检测数据集??现有公开数据集多为车载视频，具有动态的背景。为了进一步检验在实际视??频监控应用中的检测性能，本文采用由课题组成员共同采集的私有数据集验证在??实际视频监控场景下的检测性能。私有数据集的建立步骤如下：??１）图像数据采集。课题组成员共同搭建数据采集平台并实现了视频数据的采??集。数据采集平台由摄像机、三脚架和笔记本电脑构成。采集的数据包括校园场??景和铁路场景两种。??２）图像标注。为提高行人标注的效率，使用ＡＣＦ算法检测行人，实现行人??的自动预标注［３】。在自动预标注的基础上，使用Ｍａｔｌａｂ?Ｔｒａｉｎｉｎｇ?Ｉｍａｇｅ?Ｌａｂｅｌｅｒ?Ｔｏｏｌ??完成行人包围框的精修。标注过程中行人遮挡面积超过８０％，行人宽度小于图像??宽度的１％的行人不予标注。??３）标注文件格式转换。模型的训练使用．ｘｍｌ格式标注文件，因此将Ｍａｔｌａｂ??Ｔｒａｉｎｉｎｇ?Ｉｍａｇｅ?Ｌａｂｅｌｅｒ?Ｔｏｏｌ中生成的．ｍａｔ标注文件通过编写程序转换为＿ｘｍｌ格式。??私有数据集的图像样本如图１－４所示：??
【参考文献】：
期刊论文
[1]基于矩阵转换的卷积计算优化方法[J]. 方玉玲,陈庆奎. 计算机工程. 2019(07)
[2]CNN卷积计算在移动GPU上的加速研究[J]. 王湘新,时洋,文梅. 计算机工程与科学. 2018(01)
[3]基于Jetson TK1和深度卷积神经网络的行人检测[J]. 冯帅,张龙,贺小慧. 信息技术. 2017(10)
[4]基于卷积神经网络（CNN）和CUDA加速的实时视频人脸识别[J]. 孔英会,王之涵,车辚辚. 科学技术与工程. 2016(35)
硕士论文
[1]行人检测系统的设计与实现[D]. 高磊.华侨大学 2018
[2]基于SDSoC的卷积神经网络算法实现[D]. 顾含迪.北京化工大学 2018
[3]基于SSD的行人检测与跟踪方法研究[D]. 李海翔.中国科学技术大学 2018
[4]基于卷积神经网络的人脸验证技术研究[D]. 郭申.北京工业大学 2017
[5]基于深度卷积网络的目标检测系统[D]. 杨凯.北京邮电大学 2017
本文编号：3533449
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3533449.html
