基于FPGA的矩阵乘法实现方案在全连接深度神经网络前向传播中的性能评估

发布时间：2020-03-28 02:06

【摘要】：矩阵乘法作为矩阵计算的基本计算之一,被广泛运用于人工神经网络实现方案中。作为人工神经网络的主要实现平台之一,现场可编程门阵列(Field Programmable Gate Array,FPGA)的矩阵乘法实现方案,直接决定了相关硬件实现方案的计算效率,并得到了广泛地研究。目前,有关基于FPGA平台进行矩阵乘法的研究内容多偏向于具体的硬件实现方案,有关硬件设计与资源占用的评估尚较为缺乏。通过对三种基于FPGA平台的矩阵乘法设计方案进行参数化性能评估,本文对针对深度神经网络(Deep Neural Network,DNN)中的矩阵相乘方案的适用性进行了讨论。作为实现DNN前向传播的基础,基于乘加器和乘累加器的单层神经网络计算方案被提出。通过对此两种实现方法在数字信号处理单元(Digital Signal Processor,DSP)、查找表(Look Up Table,LUT)和寄存器(Register,REG)等硬件资源使用情况和时序表现分析,对两种基础实现方案的性能进行了对比。通过对基础矩阵乘法设计方案进行级联,可以得到针对多层DNN前向传播的矩阵乘法实现方案。根据硬件资源耗费和时序表现分析,在实现同等规模矩阵乘法的情况下,基于乘累加器的实现方案较基于乘加器的实现方案表现更优。由于多层DNN与单层DNN前向传播的资源占用不成线性关系,通过对不同规模的DNN进行硬件实现,可以对DNN前向传播实现方案的资源占用情况进行参数化评估。综合乘累加器和乘加器的矩阵乘法实现方案,一种针对具有奇数个隐含层DNN的混合矩阵乘法实现方法被提出。通过手写数字识别任务的验证和基于赛灵思(Xilinx)VC707平台的实测结果,该矩阵乘法混合实现方案准确有效,并较乘累加器方法节省了 13%的片上资源。
【图文】：

示意图,激励函数,示意图,基本函数

据中的冗余，这是神经网络能够解决非线性问题的关键。逡逑目前，常用的激活函数主要有Ｓｉｇｍｏｉｄ，ｔａｎｈ，ＲｅＬＵ以及它们的一些变体。逡逑这三种基本函数的图像与公式分别如图３－２和式（３－１）－式（３－３）所示。逡逑１６逡逑

关系图,计算单元,流程计算,累加器

计算单元的计算时间是可以通过设计的时序流程计算出来的，因此主要通过逡逑仿真来验证理论数据是否正确。通过仿真验证的计算时间与网络节点数的关系如逡逑图３－８所示。逡逑４奍加Ａ？案Ｖｉ点被１ｉｉｌ逦的Ｘ、系逡逑１５０邋１逡逑＾逦／逡逑0逦／逡逑登伽＇逦／逡逑0逡逑0邋／逡逑Ｉ邋５０＇？逡逑３逦／逡逑ｚ邋0、逦／逡逑８０邋／逡逑６０邋８０逡逑４０邋６０逡逑２０邋＼一一一＾逦４0逡逑０邋０逡逑Ｎｕｍｂｅｒ邋ｏｆ邋ｉｎｐｕｔ邋Ｎｏｄｅｓ逡逑Ｎｕｍｂｅｒ邋ｏｆ邋Ｏｕｔｐｕｔ邋Ｎｏｄｅｓ逡逑图３－８基于乘累加器ＩＰ核的单层网络计算时间与网络节点数关系图逡逑通过观察和分析，并结合ＩＳＥ提供的资源报告，可以得出：逡逑１、在该方案中，硬件资源的占用主要与输出层节点数有关，而与输入层节逡逑点数无关，，这与乘累加器ＩＰ核的并行结构设计符合。逡逑２２逡逑
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TN791;TP183

【参考文献】