基于OpenCL的深度学习目标检测算法加速方法研究
发布时间：2020-12-26 12:24
随着深度学习技术的飞速发展,基于深度学习的目标检测算法也取得了令人瞩目的成就,甚至达到了实际应用的性能指标。然而,卷积神经网络具有极高的计算复杂度,传统的CPU无法满足实时性需求。于是,GPU作为通用计算单元被用于加速卷积神经网络的训练和测试,但其高能耗不能满足嵌入式应用的需求。FPGA作为可重构逻辑器件,其低功耗的特点使其在边缘端应用部署上具有明显优势。同时,其低延时的特性也使其很适合执行云端流式任务。因此基于FPGA的卷积神经网络加速器设计成为一个研究热点。然而,面向目标检测应用的FPGA加速器研究目前还比较少。本文基于OpenCL异构计算框架,设计了一种可扩展的深度学习目标检测FPGA加速架构。该架构可高效地实现YOLOv2算法的硬件加速,也可适用于其他网络模型,对不同设备也具有很好的迁移性。其中,通过多个内核级联形成的深度流水线能有效缓解带宽压力;三个并行度的设计能满足高计算密集任务的需求;基于折叠行缓存的数据缓存区设计能为架构高吞吐率的实现提供支持。此外,本文基于硬件设计的思想,提出了一系列深度学习目标检测算法的改进方法。其中,对全网络进行的8bit定点数量化,以及对卷积、批...
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：70 页
【学位级别】：硕士
【部分图文】：
目标检测算法最佳性能总览同c)MSCOCOFlgurel·1Overviewofthes公
函数和ＲｅＬＵ系列函数不存在这样的问题，目前仍被广泛使用。其中，ＥＬＵ函数??是ｓｉｇｍｏｉｄ函数和ＲｅＬＵ函数相结合的产物，其输入均值接近零值，能加速收敛，??如图２－２?ｂ）所示。ＲｅＬＵ存在ｄｅａｄ?ＲｅＬＵ问题，即某些神经元的参数永远不会被更??新。Ｌｅａｋｙ?ＲｅＬＵ增加了负值斜率，改进了?ＲｅＬＵ的这一问题。ＰＲｅＬＵ和ＲＲｅＬＵ??都是对Ｌｅａｋｙ?ＲｅＬＵ的改进。ＰＲｅＬＵ中负值部分的斜率根据数据来定，而非预先??定义。ＲＲｅＬＵ中负值部分的斜率在训练过程中按均匀分布随机抽取，在测试时为??定值。ＲｅＬＵ和Ｌｅａｋｙ?ＲｅＬＵ的函数及其导数形式如图２－２?ｃ）和ｄ）所示。??ｆ（ｘ）?！?？?／??ｆ＇｛ｘ）?ｆ?ｗ?丨?／??■■?￣ｉ—－?乂?????１?．．．．．．．Ｚ＇二－二：：二二?－３Ｘ１?－２．５?－２Ｓ３?－１＿５?－Ｊ．？?－０＾＾?０．５?１５?２．０?２Ｓ?３！??－３０?－２５?－２．０?－１＾?－１．０?－０．５?０＿５?１．０?１．Ｓ?２．０?２．５?３．?？，??＊１Ｄ??？０－５?］??－１３??ａ）?Ｓｉｇｍｏｉｄ?ｂ）?ＥＬＵ??ｆ（ｘ）?３１?／?ｆＷ?＇Ｉ?／??＂ｘ）?２５！?／?ｆ，ｗ?，?Ｚ??２．０?｜?Ｚ?２．０：?Ｚ??Ｈ?／?
深度学习目标检测算法原理??在图像风格化中，生成结果主要依赖于单个图像实例，所以ＢＮ对批量进行归??一化的方法不适合图像风格化应用。如图２－３?ｃ）所示，ＩＮ是针对每个实例的每个通??道进行的归一化。它根据特征图中每个通道上的一个面来计算均值和方差。??＃?％??ｃ）?Ｉｎｓｔａｎｃｅ?Ｎｏｒｍ?ｄ）?Ｇｒｏｕｐ?Ｎｏｒｍ??图２－３归一化方法％??Ｆｉｇｕｒｅ?２－３?Ｎｏｒｍａｌｉｚａｔｉｏｎ?ｍｅｔｈｏｄｓ?［５７】??（５）
【参考文献】：
期刊论文
[1]面向卷积神经网络的FPGA设计[J]. 卢丽强,郑思泽,肖倾城,陈德铭,梁云. 中国科学:信息科学. 2019(03)
[2]深度学习FPGA加速器的进展与趋势[J]. 吴艳霞,梁楷,刘颖,崔慧敏. 计算机学报. 2019(11)
硕士论文
[1]基于FPGA的卷积神经网络加速方法研究及实现[D]. 仇越.江南大学 2018
[2]FPGA加速卷积神经网络训练的研究与实现[D]. 魏小淞.西安电子科技大学 2018
[3]基于FPGA的卷积神经网络并行加速体系架构的研究[D]. 殷伟.西安电子科技大学 2018
[4]面向大数据的CPU/GPU/FPGA计算平台研究[D]. 黄海洋.电子科技大学 2017
本文编号：2939692
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：70 页
【学位级别】：硕士
【部分图文】：
目标检测算法最佳性能总览同c)MSCOCOFlgurel·1Overviewofthes公
函数和ＲｅＬＵ系列函数不存在这样的问题，目前仍被广泛使用。其中，ＥＬＵ函数??是ｓｉｇｍｏｉｄ函数和ＲｅＬＵ函数相结合的产物，其输入均值接近零值，能加速收敛，??如图２－２?ｂ）所示。ＲｅＬＵ存在ｄｅａｄ?ＲｅＬＵ问题，即某些神经元的参数永远不会被更??新。Ｌｅａｋｙ?ＲｅＬＵ增加了负值斜率，改进了?ＲｅＬＵ的这一问题。ＰＲｅＬＵ和ＲＲｅＬＵ??都是对Ｌｅａｋｙ?ＲｅＬＵ的改进。ＰＲｅＬＵ中负值部分的斜率根据数据来定，而非预先??定义。ＲＲｅＬＵ中负值部分的斜率在训练过程中按均匀分布随机抽取，在测试时为??定值。ＲｅＬＵ和Ｌｅａｋｙ?ＲｅＬＵ的函数及其导数形式如图２－２?ｃ）和ｄ）所示。??ｆ（ｘ）?！?？?／??ｆ＇｛ｘ）?ｆ?ｗ?丨?／??■■?￣ｉ—－?乂?????１?．．．．．．．Ｚ＇二－二：：二二?－３Ｘ１?－２．５?－２Ｓ３?－１＿５?－Ｊ．？?－０＾＾?０．５?１５?２．０?２Ｓ?３！??－３０?－２５?－２．０?－１＾?－１．０?－０．５?０＿５?１．０?１．Ｓ?２．０?２．５?３．?？，??＊１Ｄ??？０－５?］??－１３??ａ）?Ｓｉｇｍｏｉｄ?ｂ）?ＥＬＵ??ｆ（ｘ）?３１?／?ｆＷ?＇Ｉ?／??＂ｘ）?２５！?／?ｆ，ｗ?，?Ｚ??２．０?｜?Ｚ?２．０：?Ｚ??Ｈ?／?
深度学习目标检测算法原理??在图像风格化中，生成结果主要依赖于单个图像实例，所以ＢＮ对批量进行归??一化的方法不适合图像风格化应用。如图２－３?ｃ）所示，ＩＮ是针对每个实例的每个通??道进行的归一化。它根据特征图中每个通道上的一个面来计算均值和方差。??＃?％??ｃ）?Ｉｎｓｔａｎｃｅ?Ｎｏｒｍ?ｄ）?Ｇｒｏｕｐ?Ｎｏｒｍ??图２－３归一化方法％??Ｆｉｇｕｒｅ?２－３?Ｎｏｒｍａｌｉｚａｔｉｏｎ?ｍｅｔｈｏｄｓ?［５７】??（５）
【参考文献】：
期刊论文
[1]面向卷积神经网络的FPGA设计[J]. 卢丽强,郑思泽,肖倾城,陈德铭,梁云. 中国科学:信息科学. 2019(03)
[2]深度学习FPGA加速器的进展与趋势[J]. 吴艳霞,梁楷,刘颖,崔慧敏. 计算机学报. 2019(11)
硕士论文
[1]基于FPGA的卷积神经网络加速方法研究及实现[D]. 仇越.江南大学 2018
[2]FPGA加速卷积神经网络训练的研究与实现[D]. 魏小淞.西安电子科技大学 2018
[3]基于FPGA的卷积神经网络并行加速体系架构的研究[D]. 殷伟.西安电子科技大学 2018
[4]面向大数据的CPU/GPU/FPGA计算平台研究[D]. 黄海洋.电子科技大学 2017
本文编号：2939692
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2939692.html
