应用于神经网络的高效能计算单元的研究与实现

发布时间：2020-08-15 22:06

【摘要】：在众多实现人工智能的技术中,神经网络是当今最成功也是应用最广泛的技术。卷积神经网络是神经网络的进一步发展,随着卷积神经网络的出现,人工智能的发展也是如日中天。然而,在卷积神经网络的设计越来越复杂的今天,不断增加的功耗也是限制其发展的一个重要因素。其中,卷积计算的功耗占比极大,可达90%。乘法器是卷积计算中重要的计算单元,考虑到神经网络中的计算并不需要完全精确的特点,本文设计了适用于卷积神经网络的近似乘法器电路,以达到降低功耗的目的。近似乘法器种类繁多,功耗和平均相对误差等关键性能也各不相同。首先,本文在借鉴国内外研究成果的基础上,确定了适用于卷积神经网络的参考方案,并对其进行了逻辑和电路结构两个层面的优化。在逻辑层面上,本文通过增加高位部分积的方式,用较小的功耗代价降低了 2%的平均相对误差;在电路结构层面上,本文使用了移位至固定位置的操作,取代了原电路的LOD等模块,且方便了增加的部分积的加入。其次,本文编写了改进后电路及原电路的SPICE网表,采用Hspice软件仿真验证,并设计了同时考虑了功耗、延迟及平均相对误差的品质因数(FoM)。仿真结果表明,改进后的电路在不同的输入电压、温度、工艺角下均优于原电路,FoM收益最低8.26%,最高16.3%。最后,本文将改进后的近似乘法器电路嵌入到开源神经网络平台NVDLA的计算模块中,并通过仿真来确定其在实际应用中的效果。经验证,两种设计性能基本相等,但功耗仅为原CMAC模块的32.6%,面积仅为原CMAC模块46.7%。
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP332.22;TP18
【图文】：

神经网络,误差,图像

传递的信号均是以数字的形式表达的，每个输入信号与权重相乘，再各自相加逡逑个和，最后由一个函数对这个和进行处理后再输出，即用代表了某个特征的卷逡逑输入矩阵进行卷积操作。逡逑积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ邋Ｎｅｕｒａｌ邋Ｎｅｔｗｏｒｋｓ，邋ＣＮＮ）是神经网络下最热门的一个逡逑指的是利用多层次的神经网络，逐层进行学习。ＣＮＮ最初的结构是１９８６年由逡逑ｌｈａｒｔ和ＭｃＣｅｌｌａｎｄ提出的误差反向传播算法（Ｅｒｒｏｒ邋Ｂａｃｋ邋Ｐｒｏｐａｇａｔｉｏｎ），其主要思逡逑据输出的误差进行反馈，不断修正中间的权重并在产生结果后再次反馈，这样循逡逑误差足够小为止。１９９８年，纽约大学的学者们提出了邋ＬｅＮｅｔ－５结构，通过两个卷逡逑接上降采样层的结构提高了拟合成功的概率。２００６年，多伦多大学的Ｈｉｎｔｏｎ和逡逑ｕｔｄｉｎｏｖ提出了深度信念网络，认为神经网络含有隐层的数量越多，层次越深，就逡逑强的学习能力。且对于深层人工神经网络训练难度大的问题，可以通过无监督的逡逑始化的方式解决。２０１２年，Ｋｒｉｚｈｅｖｓｋｙ提出了邋Ａｌｅｘ－Ｎｅｔ模型，在ＩＬＳＶＲＣ－２０１２逡逑赛中，ｔｏｐ－５误差为１５．３％，取得了新的突破。２０１４年，ＣｈｒｉｓｔｉａｎＳｚｅｇｅｄｙ等人设计逡逑ｏｏｇｌｅ邋Ｎｅｔ深度卷积神经网络在ＩＬＳＶＲＣ－２０１４的比赛中，ｔｏｐ－５误差降到６．６７％。逡逑年这个记录再次被刷新，ＩｍａｇｅＮｅｔ２０１５的比赛中冠军取得了邋ｔｏｐ－５误差３．５７％的成逡逑见，ＣＮＮ的发展己经迈上了快车道。逡逑于ＣＮＮ及其他神经网络结构的发展，神经网络的性能得到了大幅提升，在图片逡逑面的正确率甚至可以超出人脑，如图１－１所示。于此同时，其商业

神经网络,特征图,卷积,全连接

在经过若干个卷积层和子采样层后，ＣＮＮ最后通过全连接层（Ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄｌａｙｅｒ）逡逑得出输出。全连接层与上述卷积层的区别在于其各个神经元均与上一层的所有神经元逡逑连接，即综合之前得出的所有特征产生输出。其综合结构图如图１－３所示。逡逑输入逦特征图逦特征图逦特征图邋特征图逡逑Ｉ逡逑逦｜｜逦…＇．．．．．．＇＇Ｉ逦逦逡逑二．邋邋■■■：．」逦ｒ？＿ｕ逦Ｖ逡逑逦Ｈ逦邋Ｈ邋｜邋￣逦ｎ逡逑卷积逦池化逦卷积逦池化通过全连接层逡逑图１－３卷积神经网络的结构图逡逑２逡逑

全定制,专用集成电路,系统实现,占比

图１４类神经系统硬件应用的高层次细分及占比ｍ逡逑全定制或专用集成电路（ＡＳＩＣ）芯片对于类神经系统实现也是非常常见的［的ＴｒｕｅＮｏｒｔｈ是当今最流行的类神经系统实现之一，它是完全定制的ＡＳＩＣＴｍｅＮｏｒｔｈ芯片是部分异步和部分同步的，因为时钟控制着系统中的基本时些活动不会与时钟发生。ＴｒｕｅＮｏｒｔｈ系统中的一个核心包含一个２５６ｘ２５６交，可将传入尖峰映射到神经元。系统的行为是确定性的，但是有能力通过生随机行为。这种随机性可以在软件模拟中完全复制。逡逑ＳｐｉＮＮａｋｅｒ是另一种流行的类神经系统实现，也是一个全定制的数字大规模１６＿１８ｌ。ＳｐｉＮＮａｋｅｒ由许多小型整数核心以及针对基于尖峰的网络架构的通信行定制互连通信方案组成。也就是说，通信结构是为了处理大量非常小的消。处理单元本身非常灵活，并不是神经形态的定制，但每个ＳｐｉＮＮａｋｅｒ芯片指令和数据存储器，以便最大限度地减少对常用数据的访问时间。像ＴｒｕｅＮｏＳｐｉＮＮａｋｅｒ支持芯片的级联以形成更大的系统。逡逑ＴｒｕｅＮｏｒｔｈ和ＳｐｉＮＮａｋｅｒ提供了数字硬件实现极限的例子。ＴｒｕｅＮｏｒｔｈ公司选定峰值神经网络模型，它具有泄漏的整合放电神经元和有限的可编程连接有片上学习。它针对所选择的网络模型和拓扑进行了高度优化。另一Ｎａｋｅｒ在其选择的神经元模型，突触模型和学习算法中是非常灵活的。此外，和网络的拓扑都非常灵活。然而，这种灵活性的代价是能量效率。据Ｆｕｒｂｅｒ

【相似文献】