基于网络压缩和电压—精度缩放的高能效RNN加速器设计

发布时间：2021-08-10 18:18

　　随着人工神经网络研究的进一步发展,深度学习技术为现代社会的许多方面提供了便利。基于人工神经网络的深度学习系统在现代生活中几乎随处可见:比如用于识别图像中的对象,将语音转换为文本,将新闻项目、帖子或产品与用户兴趣相匹配等,全面智能化了人们的生活。尤其是基于递归神经网络（Recurrent Neural Network,RNN）的系统,得益于它可以同时在空间和时间上传递信息的特点,在处理序列信号——如语音识别时比其他神经网络结构更有优势。但是,随着递归神经网络朝着识别更精确、功能更强大、结构更复杂的方向发展,网络规模也随之越来越大。这种庞大的模型既是计算密集型又是内存密集型,在片上运行这些模型将导致极高的能耗,严重影响了递归神经网络加速器的能效。本文以递归神经网络算法为研究基础,高能效的递归神经网络硬件加速器为研究目标。针对递归神经网络规模不断扩大、模型参数越来越多引起的计算和存储开销增加的问题,从算法调度和硬件架构两个方面展开了下述几项工作以提高递归神经网络加速器的能效:一、分析了递归神经网络算法的计算流程和核心算子,对网络规模、参数分布和计算类型等进行了定量分析,并指出乘法能耗是计算能... 

【文章来源】：东南大学江苏省 211工程院校 985工程院校 教育部直属院校

【文章页数】：71 页

【学位级别】：硕士

【部分图文】：

RNN拓扑结构

图 2-2 RNN 的跨时序传递特性学习最成功的 RNN 结构可以追溯到 1997 年的两篇论文。一种是出的长短期记忆递归神经网络（Long Short Term Memory Recurrent NeN 结构[26]。这种结构通过引入一个记忆单元来取代 RNN 网络隐含层中NN 无法进行长期记忆的困难；另一种是 Schuster 和 Paliwal 提出的双向l Recurrent Neural Networks），即 BRNN 结构[27]。它将上一时刻及下一时刻，打破了传统 RNN 系统只有过去时刻的信息能够影响当前输出的规N 这个模型类似于一个标准的带有隐含层的神经网络，隐含层中的每个（a））都被一个 LSTM 记忆单元替代（图 2-3（b））。LSTM 最显著的特e, Forget Gate, Output Gate）和一个记忆细胞（Memory Cell）组成。这质上与图 1-1 中的普通神经元类似，它将当前时刻的输入和上一时刻的行加权求和并经过激活函数，从而将有用的信息传递下去，也对没有用胞则利用输入门和遗忘门单元传递过来的数据，不断地更新它所存储的时刻的输出层以及下一时刻的隐含层。

东南大学硕士学位论文常用的 RNN 结构。这种结构提出的思想依据是：在一个序果能像访问过去时刻的语音信息一样获得未来时刻的语音将是非常有益的。因而在BRNN的拓扑结构中，通常包含两与输入输出神经元相连。而这两个隐含层的区别在于，第元建立了循环连接，而第二层隐含神经元则与下一个时刻们传递信息的方向是相背的，如图 2-4。但是 BRNN 的局运行的，因为它需要时间来接收来自未来的数据信息，因。


本文编号：3334550