神经网络算法的FPGA加速研究

发布时间：2020-04-06 03:36

【摘要】：近年来神经网络算法的发展和进步推动着人工智能领域的兴起和发展。神经网络算法在计算机视觉、自然语言处理等领域取得了巨大成功,能够出色的完成图像识别、目标检测、语音识别、机器翻译等各种任务。神经网络算法由于其算法结构计算量大,为了满足对数据的快速处理和实时应用的要求,需要对神经网络算法进行加速。对神经网络算法的加速主要有三种平台,分别为GPU、ASIC和FPGA。GPU有出色的计算性能,但是GPU的功耗较高,主要应用于神经网络算法的训练加速。ASIC能达到较高能效比,但是ASIC的开发周期长、研发成本高,而且灵活性差。FPGA相比于GPU能达到更高的能效比,相比于ASIC更加灵活可以进行重构,实现不同算法的硬件加速。因此,本文采用FPGA来进行神经网络算法的硬件加速研究。另外,由于HLS技术的发展和成熟,使得FPGA的开发变得更加便捷。本文采用了OpenCL进行FPGA开发,相比于传统Verilog的硬件描述语言的开发,大大减少的开发周期,能更加容易的完成神经网络算法的FPGA实现。本文对神经网络算法的FPGA加速研究主要在两个方面,分别是卷积神经网络和LSTM循环神经网络。针对卷积神经网络,从优化内存访问和提高并行计算程度两方面对不同的功能层进行设计。通过设计矩阵乘法模块完成对卷积层和全连接层的并行计算加速,设计线性缓冲结构使池化层流水线处理,提出并行流水线执行策略提高各功能模块的使用效率提升系统整体性能。本文的设计方案在Stratix-V GXA7 FPGA上卷积神经网络可以达到73.26GOPS的吞吐量。对于LSTM循环神经网络的FPGA加速研究,本文不仅进行了LSTM网络的FPGA硬件加速设计,还提出了硬件设计友好的结构化剪枝算法。本文针对LSTM网络提出的结构化剪枝算法可以实现对权值矩阵的列方向的剪枝,不仅可以达到很好的模型剪枝压缩效果,还可以消除由于稀疏性带来的不规则内存访问和计算。然后,本文对LSTM网络进行了大量并行计算单元设计并进行了粗粒度的层级流水线优化,提高了整体的计算效率,实现了对LSTM网络的加速。最后,在语言模型和声学模型的FPGA加速上,本文的设计方法达到了非常好的加速效果。在8倍压缩的语言模型上可以达到681.6GOPS的有效计算吞吐量和946.63%的计算效率,在4倍压缩的声学模型上也能达到339.7GOPS的有效计算吞吐量和482.61%的计算效率。
【图文】：

ifN 幅输入特征图中相应区域和卷积核进行乘加累加得到。下图2-1展示的是卷积层计算一幅输出特征图的过程，，每幅输入特征图对应一个卷积核，输入图中不同颜色的虚线框对应着不同的输出，每一个输出是由不同输入图相同位置和卷积核乘积累加而得到。每一个输出是输入的局部信息处理结果，反映了局部的特征信息，同一输入特征图使用相同卷积核进行特征处理，这是卷积网络中的权重共享机制。卷积层计算过程和图像处理中的滤波处理是相似的，卷积核对应着滤波算子，只是在图像处理中滤波算子通常是预先设置好的，而在卷积神经网络中卷积核是要通过训练后得到。通过构建多层卷积网络，然后进行网络训练得到不同的卷积核

池化计算示意图
【学位授予单位】：武汉大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TN791;TP183

【相似文献】

相关期刊论文 前10条

1 李维斌;;神经网络算法在水泥生产线中的优化分析[J];四川水泥;2018年08期

2 刘念;王枫;;深度神经网络算法研究及应用[J];科技资讯;2017年27期

3 袁冬;林勇;;采用GA-BP神经网络算法改善压力传感器的稳定性[J];化工自动化及仪表;2015年11期

4 谢清秀;;计算机网络连接增强优化中的均场神经网络算法[J];数码世界;2017年02期

5 许炎骏;陈端端;;人工智能艺术领域阶段性应用调研报告[J];艺术学界;2017年01期

6 刘爱江;黄长慧;胡光俊;;基于改进神经网络算法的木马控制域名检测方法[J];电信科学;2014年07期

7 高坚;计算机网络连接增强优化中的均场神经网络算法[J];计算机工程;2003年09期

8 汪永元;;基于BP神经网络算法的超高电梯投资分析[J];铁道勘测与设计;2017年02期

9 赵健;陶元芳;王爱红;许增杰;;BP神经网络算法用于专业机械快速设计[J];机械设计与制造;2019年07期

10 方芳;;基于神经网络算法的大数据分析方法研究[J];软件工程;2018年09期

相关会议论文 前10条

1 邱永红;潘亚汉;;基于神经网络算法的自适应数字波束形成技术[A];'99系统仿真技术及其应用学术交流会论文集[C];1999年

2 陈玉敏;万幼川;;结合矢量的神经网络算法用于遥感影像分类研究[A];2003年中国智能自动化会议论文集（上册）[C];2003年

3 蔡冰清;徐思雅;亓峰;葛维春;周桂平;于波涛;;基于SA-BP神经网络算法的光接入网络通道质量评估方法[A];2017电力行业信息化年会论文集[C];2017年

4 热合木江;艾尼瓦尔·吐尔地;尼加提·吐尔逊;古丽·吐尔逊;胡得来提;;一种遗传神经网络算法及其在石油资源预测中的应用[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年

5 耿兆丰;吴永敢;;基于神经网络算法的路经规划[A];1992年中国控制与决策学术年会论文集[C];1992年

6 严隽薇;朱柳明;萧蕴诗;;高阶关联神经网络算法研究[A];1996年中国智能自动化学术会议论文集（上册）[C];1996年

7 李勇刚;桂卫华;阳春华;蔡自兴;;基于神经网络算法的锌电解过程分时供电优化调度系统的研究[A];第二十届中国控制会议论文集（下）[C];2001年

8 朱喜林;孙海滨;;机械加工参数的模糊神经网络算法[A];面向制造业的自动化与信息化技术创新设计的基础技术——2001年中国机械工程学会年会暨第九届全国特种加工学术年会论文集[C];2001年

9 渠展展;王伟;刘峗甲;刘家亮;;改进粒子群-神经网络算法在中长期电力负荷预测中的应用[A];2017智能电网信息化建设研讨会论文集[C];2017年

10 刘慧;许晓鸣;张钟俊;;CMAC神经网络算法的研究[A];1995中国控制与决策学术年会论文集[C];1995年

相关重要报纸文章 前4条

1 科大讯飞股份有限公司市场部总经理 任萍萍;人工智能将在三大领域替代人类[N];经济参考报;2016年

2 黄鱼 遥歌 晓中 丛文 苏晓;细数人工智能的“新身份”[N];人民邮电;2017年

3 王浩;为药店追赶人工智能潮献策[N];医药经济报;2017年

4 郝卡伦;如何用神经网络算法开发人工智能软件[N];人民邮电;2019年

相关博士学位论文 前9条

1 曾U喺

本文编号：2615948