可重构平台上面向卷积神经网络的异构多核加速方法研究

发布时间：2020-11-21 14:13

　　 卷积神经网络源自于传统的人工神经网络,其作为机器学习中的一类重要算法已经被广泛部署于人工智能、计算机视觉等应用场景中。由于现实世界中应用的复杂度与日俱增,网络模型的规模和深度也在不断增加,导致通用计算平台在处理相关任务时面临严峻性能、能效挑战。在这种背景下,基于ASIC、FPGA的硬件加速方法已经在卷积神经网络的部署中被普遍采用,并成为提高计算效率的重要手段。然而,目前主流加速器的单核片上结构和计算模式与卷积神经网络的内在计算特性存在失配性问题。尤其是在FPGA一类的可重构器件上,硬件的可重构特性将这种失配性进一步凸显,严重影响了计算效率的进一步提升。本文面向卷积神经网络的高效硬件部署,将可重构计算技术与异构多核体系结构深度结合,在静态重构和动态重构两个层面上系统性地提出了基于异构多核片上结构的加速器设计和优化方法,有效缓解了硬件加速中的软硬件特征失配问题。具体工作内容和创新点如下:·我们在静态重构层面上针对特定网络模型在特定FPGA平台上的部署提出了在片上固化全网络层的异构多核加速器结构。在该结构中,不同网络层的计算被各自映射至独享的计算核心,在局部上各片上计算核心可根据所对应网络层的并行特征进行单独部署和优化;在宏观上,不同计算核心以层间流水的方式充分挖掘了层间计算并行度;在此基础上,我们使用Roofline多核性能分析模型在宏观和局部上进行片上计算与片外访存间的相互协调。该加速器结构在高性能FPGA平台上对AlexNet和VGG16D的部署相较以往在相同FPGA平台上的单核加速器部署性能提升了2.44倍,能效提升了2.35倍。·在片上固化全网络层结构的基础上,我们在静态重构层面上提出了面向层级特征的异构多核片上结构。通过对目前常见卷积神经网络硬件加速过程的分析,我们发现了两点规律:第一,不同卷积层对不同类型数据的访存行为存在差异,从而在异构多核结构中进行分别部署可以最大程度降低访存开销;第二,尽管不同网络层在整体结构上存在差异,但在经过循环展开和分片操作后其中某些层会呈现出相似的层级特征,从而在这一类网络层间进行硬件单元复用可以达到较高的硬件资源利用效率。分别基于以上两点,我们面向网络的层级特征提出了粗粒度和细粒度的网络层聚类方法,并在此基础上将软、硬件间的特征匹配粒度增大,提出了面向层级特征的异构多核加速器部署方法。该方法在高性能FPGA平台上对AlexNet、VGG16C、VGG16D、VGG19的部署相较以往在相同FPGA平台上的单核加速器部署性能平均提升了1.64倍,能效提升了1.84倍。·在动态重构层面上,我们基于FPGA的动态部分重构技术提出了软、硬件特征动态适配的异构多核加速方法。我们首次将FPGA的动态部分重构技术引入到卷积神经网络的硬件加速器设计中,为底层硬件结构提供在运行时根据上层应用特征进行动态调整的机制。在此基础上,我们对硬件加速过程进行了面向马尔科夫决策过程的系统建模,并通过深度强化学习的方法为特定网络模型的硬件加速器部署确定最优的运行时重构策略,从而更加全面、充分地挖掘可重构硬件特性来提高计算适配性。该方法在嵌入式FPGA平台上对AlexNet和VGG16D的部署相较以往在同类型FPGA平台上的单核加速器结构性能密度平均提升了1.48倍。
【学位单位】：中国科学技术大学
【学位级别】：博士
【学位年份】：2019
【中图分类】：TP18;TP391.41
【部分图文】：

图１．１卷积神经网络的前馈过程??１．１．３．卷积神经网络的层级组成??图１．１所示的是一个卷积神经网络的前馈计算过程，输入数据依次经过卷积??层Ｃ１、池化层Ｓ２、卷积层Ｃ３、池化层Ｓ４、全连接层ＦＣ５、ＦＣ６、ＦＣ７后完成输??出。各层的输入特征图（ｉ叩ｕｔ?ｆｅａｔｕｒｅ?ｍａｐｓ）和输出特征图（ｏｕｔｐｕｔ?ｆｅａｔｕｒｅ?ｍａｐｓ）中??的数据对应神经元（ｎｅｕｒｏｎｓ），权值数据对应突触（ｓｙｎａｐｓｅｓ）。在卷积层和全连接??层后通常需要加入激励层对输出进行非线性处理，而激励操作由于直接作用于??各输出神经元，因此没有标识在图１．１中。前馈过程中，各层接收一个多维度的??输入特征图进行计算，得到一个具有新的尺寸和维度的特征图并将其传递给后??续的层，前后层之间存在特征图数据的数据相关，各层内部无数据相关。几种主??要类型的层的作用和计算过程如下。??１？卷賴??卷积操作可以从输入数据中提取出各类特征，并且随着卷积次数的增加，从??初始低级特征中可以迭代提取出高级复杂的特征。卷积神经网络即利用这种思??想使用卷积层对输入特征图进行特征提取得到输出特征图。??ｎ＝－ｉ??．．．?（Ｉ?＞：”」：广厶：１?｜）??Ｍ?Ｈ：－－?ｕ?ｍ＇．．．．．－

?Ｐｏｏｌｉｎｇ?Ｃｏｎｖｏｌｕｔｉｏｎ?Ｐｏｏｌｉｎｇ??图１．１卷积神经网络的前馈过程??１．１．３．卷积神经网络的层级组成??图１．１所示的是一个卷积神经网络的前馈计算过程，输入数据依次经过卷积??层Ｃ１、池化层Ｓ２、卷积层Ｃ３、池化层Ｓ４、全连接层ＦＣ５、ＦＣ６、ＦＣ７后完成输??出。各层的输入特征图（ｉ叩ｕｔ?ｆｅａｔｕｒｅ?ｍａｐｓ）和输出特征图（ｏｕｔｐｕｔ?ｆｅａｔｕｒｅ?ｍａｐｓ）中??的数据对应神经元（ｎｅｕｒｏｎｓ），权值数据对应突触（ｓｙｎａｐｓｅｓ）。在卷积层和全连接??层后通常需要加入激励层对输出进行非线性处理，而激励操作由于直接作用于??各输出神经元，因此没有标识在图１．１中。前馈过程中，各层接收一个多维度的??输入特征图进行计算，得到一个具有新的尺寸和维度的特征图并将其传递给后??续的层，前后层之间存在特征图数据的数据相关，各层内部无数据相关。几种主??要类型的层的作用和计算过程如下。??１？卷賴??卷积操作可以从输入数据中提取出各类特征，并且随着卷积次数的增加，从??初始低级特征中可以迭代提取出高级复杂的特征。卷积神经网络即利用这种思??想使用卷积层对输入特征图进行特征提取得到输出特征图。??ｎ＝－ｉ??．．

?特征图??图１．３池化层图示??池化层的操作过程如图１．３所示，池化窗口在输入特征图上的水平和竖直方??向上滑动，并对窗口内覆盖的神经元进行下采样操作。窗口的滑动步长可以选??择小于等于窗口尺寸的任意数值，图１．３中示例的滑动步长与窗口尺寸相同，因??此每次池化的神经元无重合。常用的池化操作方法包括最大值池化和平均值池??化两种。以图１．３中对输出神经元ｙｎ的池化操作为例，最大值池化和平均值池??化的计算分别如式１．５和式１．６所示。通常来说，最大值池化可以减小卷积层参数??误差造成特征图估计均值偏移（ｍｅａｎ?ｓｈｉｆｔ），从而保留更多的纹理信息，而平均??值池化可以减小邻域大小受限造成的特征图估计值方差增大，从而保留较多的??背景信息［５７］。经典网络模型中使用最大值池化的包括ＡｌｅｘＮｅｔ［１７］、ＺＦＮｅｔ【１９］和??ＶＧＧＮｅｔ［２０］，使用平均值池化的有?ＬｅＮｅｔ－５［６丨和?ＲｅｓＮｅｔ［２２］，而?ＧｏｏｇｌｅＮｅｔ［２１］中同??时使用了最大值池化和平均值池化。??除了传统池化方法外
【相似文献】

相关期刊论文 前10条

1 胡悦;;金融市场中的神经网络拐点预测法[J];金融经济;2017年18期

2 陈晓燕;;浅析简单神经网络的发展及简单模型[J];数字技术与应用;2019年05期

3 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期

4 吴立可;;脉冲神经网络和行为识别[J];通讯世界;2018年12期

5 林嘉应;郑柏伦;刘捷;;基于卷积神经网络的船舶分类模型[J];信息技术与信息化;2019年02期

6 俞颂华;;卷积神经网络的发展与应用综述[J];信息通信;2019年02期

7 韩真;凯文·哈特尼特;;为神经网络的通用理论建造基石[J];世界科学;2019年04期

8 鲍伟强;陈娟;熊涛;;基于进化神经网络的短期电力负荷预测研究[J];电工技术;2019年11期

9 王丽华;杨秀萍;王皓;高峥翔;;智能双轮平衡车的设计研究[J];数字技术与应用;2018年04期

10 张庭略;;基于硬件的神经网络加速[J];通讯世界;2018年08期

相关博士学位论文 前10条

1 陈冬冬;基于深度神经网络的视觉媒体风格转换方法研究[D];中国科学技术大学;2019年

2 韩旭;基于神经网络的文本特征表示关键技术研究[D];北京邮电大学;2019年

3 杨国花;基于级联神经网络的对话状态追踪技术研究与实现[D];北京邮电大学;2019年

4 杨威;基于卷积神经网络的高效语义分割方法研究[D];中国科学院大学(中国科学院光电技术研究所);2019年

5 雷学文;基于深度神经网络的风功率日前预测与电力系统联合调度研究[D];西安理工大学;2018年

6 陈川;忆阻神经网络的同步控制及在信息安全中的应用研究[D];北京邮电大学;2019年

7 姜春晖;深度神经网络剪枝方法研究[D];中国科学技术大学;2019年

8 昌杰;基于深度神经网络的肿瘤图像分析与处理[D];中国科学技术大学;2019年

9 宫磊;可重构平台上面向卷积神经网络的异构多核加速方法研究[D];中国科学技术大学;2019年

10 刘梅;网络系统的稳定和同步行为研究[D];新疆大学;2017年

相关硕士学位论文 前10条

1 权峻;太阳能温室建模及智能控制策略研究[D];天津理工大学;2019年

2 钟文雅;基于深度卷积神经网络的乳腺X线图像的分类方法研究[D];南阳师范学院;2019年

3 薛花;基于聚类与神经网络的协同过滤推荐系统关键技术的研究[D];天津理工大学;2019年

4 张璐;基于深度学习的淋巴结自动分割算法研究[D];浙江大学;2019年

5 郭盼盼;基于GA-BP神经网络的多日股票价格预测[D];郑州大学;2019年

6 王旭东;基于光散射的磷矿磨矿粒度分析方法研究[D];武汉工程大学;2018年

7 熊雨点;基于深度学习的表单识别系统的研究与实现[D];武汉工程大学;2018年

8 聂若莹;基于AMDAR数据的对流云附近颠簸区预测方法研究[D];中国民用航空飞行学院;2019年

9 李高玲;基于神经网络的算法作曲与情感识别研究[D];郑州大学;2019年

10 路高飞;基于遗传算法改进BP神经网络的信用风险研究[D];郑州大学;2019年

本文编号：2893122