面向通用DSP的卷积神经网络加速器
发布时间：2021-11-15 03:28
随着人工智能应用的发展,基于卷积神经网络（Convolution Neural Network,CNN）的深度学习算法成为机器视觉处理领域的核心算法。但是面对互联网数据的爆炸式增长,深度学习网络变得日益复杂,计算量持续大幅度增长等问题,传统的通用处理器已经不能满足性能需求,研究其硬件加速器对设计智能芯片具有重要意义。DSP面向数字信号处理应用,具有功耗低、性价比高、可编程性好等特点,基于通用DSP架构集成专用的CNN加速器可以发挥通用DSP的性能,既可以利用DSP的原有编程开发环境,又可以快速提高DSP对深度学习算法应用的加速性能,快速扩展了DSP的智能运算范围。本文面向图像处理、视频智能处理加速需求,基于某数字信号处理器X-DSP的体系结构,设计实现了一种CNN加速器。论文的主要工作如下:首先,在分析卷积神经网络的算法和X-DSP的体系结构与性能的基础上,设计了CNN加速器整体设计结构;根据其外部存储带宽确定CNN加速器运算单元性能和片上缓存大小。通过对卷积层算法的并行性分析展开了理论分析和片上缓存设计。其次对池化层中常见的最大池化和平均池化展开了讨论,提出了对运算单元功能的扩展,最...
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
XM6处理器硬件架构
国防科技大学研究生院硕士学位论文第14页卷积操作，s被称为跨步。因此，整个卷积操作可以用公式2.1表示。其中O代表输出。,,=∑[,(1)×+,(1)×+,,,,],,（2.1）在任何卷积网络中都可以用零对输入X进行填充使得其加宽。这种操作被称为扩边。这样做的目的是为了更多保留边缘信息，同时它也能帮助控制输出图像的尺寸。另外参数共享也是卷积中一个独有的性质，表示在同一个模型中对多个函数公用一个参数。这样做的好处是在学习中只需要学习一个集合的特征，不需要对每个独立的参数都学习一遍。这样做的优点是降低了模型的存储量，而这个减小后的参数量相对于原始参数的集合是数量级的减少。下面给出一个实际的例子，直观的理解卷积运算，如图2.2所示，输入为5*5的矩阵，卷积核为3*3，横、纵向跨步均为2，并且用0填充了一层边界。图2.2简单卷积示意图2.1.2池化一个典型的卷积神经网络中应当包含池化层把池化层也视为典型层之一。池化层在CNN中扮演的角色是辅助作用，这种方式叫做探测级，通过池化函数来调整该层的输出。对于输入图像我们只关心其特征而并不关心特征出现的位置，卷积运算并不能做到这一点，它只能提取特征，而池化却可以帮助实现局部平移不变性[40][41]，也就是输入图像的物体移动了少许位置时，其输出的特征并不会受到影响。这里我们提出一个概念：局部平移，它是池化层中一个很有用的性质。当我们可以把某些输入特征的位置忽略掉，只关注于这些特征是否出现过。池化就发挥了其强大的预先查验作用：池化层的函数特征也显现出来，那就是不变性基于少量平移。这种假
国防科技大学研究生院硕士学位论文第16页Sigmod是最常见的激活函数，曾经被广泛使用，表达形式如公式2.2所示：σ(x)=11+（2.2）函数图像如图2.4所示：图2.4Sigmod函数示意图可以直观地看到该函数的输出是在(0,1)之间，并且是具有单调性，输出范围已经被限定，因此优化稳定。其次该函数也非常容易求导。但是这个函数本身是存在缺陷的，当输入无限趋于负无穷或者正无穷时，对函数求导即梯度是趋于零的。这就导致了我们在对初始值的选取上是有要求的，否则遇到这种梯度被“削弱”的情况，网络就不易被学习。再者sigmod函数的输出不是以零为均值的，结果就是导致下一层的神经元的输入是上一层输出的非零均值的信号。这样就会使每次更新权重的效率变得缓慢。最后从计算机运行角度处理指数运算的能力是较慢的。因此sigmod的使用频率逐渐减校2）Tanh函数Tanh是正切函数，公式为2.3所示，tanh（）=sinh()csch()=+（2.3）图像2.5是Tanh函数的图像:图2.5Tanh函数示意图
【参考文献】：
期刊论文
[1]深度学习在无人驾驶汽车中的应用[J]. 孙皓天. 电脑知识与技术. 2015(24)
本文编号：3495936
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
XM6处理器硬件架构
国防科技大学研究生院硕士学位论文第14页卷积操作，s被称为跨步。因此，整个卷积操作可以用公式2.1表示。其中O代表输出。,,=∑[,(1)×+,(1)×+,,,,],,（2.1）在任何卷积网络中都可以用零对输入X进行填充使得其加宽。这种操作被称为扩边。这样做的目的是为了更多保留边缘信息，同时它也能帮助控制输出图像的尺寸。另外参数共享也是卷积中一个独有的性质，表示在同一个模型中对多个函数公用一个参数。这样做的好处是在学习中只需要学习一个集合的特征，不需要对每个独立的参数都学习一遍。这样做的优点是降低了模型的存储量，而这个减小后的参数量相对于原始参数的集合是数量级的减少。下面给出一个实际的例子，直观的理解卷积运算，如图2.2所示，输入为5*5的矩阵，卷积核为3*3，横、纵向跨步均为2，并且用0填充了一层边界。图2.2简单卷积示意图2.1.2池化一个典型的卷积神经网络中应当包含池化层把池化层也视为典型层之一。池化层在CNN中扮演的角色是辅助作用，这种方式叫做探测级，通过池化函数来调整该层的输出。对于输入图像我们只关心其特征而并不关心特征出现的位置，卷积运算并不能做到这一点，它只能提取特征，而池化却可以帮助实现局部平移不变性[40][41]，也就是输入图像的物体移动了少许位置时，其输出的特征并不会受到影响。这里我们提出一个概念：局部平移，它是池化层中一个很有用的性质。当我们可以把某些输入特征的位置忽略掉，只关注于这些特征是否出现过。池化就发挥了其强大的预先查验作用：池化层的函数特征也显现出来，那就是不变性基于少量平移。这种假
国防科技大学研究生院硕士学位论文第16页Sigmod是最常见的激活函数，曾经被广泛使用，表达形式如公式2.2所示：σ(x)=11+（2.2）函数图像如图2.4所示：图2.4Sigmod函数示意图可以直观地看到该函数的输出是在(0,1)之间，并且是具有单调性，输出范围已经被限定，因此优化稳定。其次该函数也非常容易求导。但是这个函数本身是存在缺陷的，当输入无限趋于负无穷或者正无穷时，对函数求导即梯度是趋于零的。这就导致了我们在对初始值的选取上是有要求的，否则遇到这种梯度被“削弱”的情况，网络就不易被学习。再者sigmod函数的输出不是以零为均值的，结果就是导致下一层的神经元的输入是上一层输出的非零均值的信号。这样就会使每次更新权重的效率变得缓慢。最后从计算机运行角度处理指数运算的能力是较慢的。因此sigmod的使用频率逐渐减校2）Tanh函数Tanh是正切函数，公式为2.3所示，tanh（）=sinh()csch()=+（2.3）图像2.5是Tanh函数的图像:图2.5Tanh函数示意图
【参考文献】：
期刊论文
[1]深度学习在无人驾驶汽车中的应用[J]. 孙皓天. 电脑知识与技术. 2015(24)
本文编号：3495936
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3495936.html
