基于忆阻的神经网络在线学习电路分析与设计

发布时间：2021-11-23 09:51

　　在推动人工智能技术发展的神经形态计算领域,忆阻元件由于其非易失性、低功耗、存算一体化等特性被广泛应用于神经网络的推理加速,但目前大部分忆阻神经网络仍采用离线学习,难以充分利用忆阻存内运算的优势。因此,忆阻神经网络在线学习电路设计受到广泛关注,并有望进一步提高网络学习速率,降低功耗和面积,促进神经网络算法在移动设备上的应用。本文首先提出了两种忆阻模型的修改方法对新型忆阻元件进行建模,为忆阻电路的设计与仿真打下基础。接着,从新型神经网络的推理加速出发,设计了基于3D忆阻交叉阵列的胶囊神经网络电路,实现了高度并行的卷积操作与矩阵-向量乘法,提高了运算效率并应用于字符识别。进一步地,为实现神经网络的高效训练,在已有忆阻交叉阵列的基础上设计了基于忆阻的单列存储器、神经元模块、转换模块、控制模块等辅助电路,完成了神经网络训练中的前向传播、反向传播、权值更新等过程,实现了全连接网络的在线学习,减少了网络训练中的数据传输和信号转换,加快了学习速率,并成功应用于分类任务。更进一步地,为解决传统训练算法对突触权值高精度的要求与忆阻元件非理想性的冲突,设计了一种可用于层次时序记忆网络的忆阻突触电路,为层次时... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：70 页

【学位级别】：硕士

【部分图文】：

人工智能领域论文产出及其占全球论文总产出比例发展趋势(单位：篇)

图 1-2 神经形态计算和神经网络硬件实现的研究成果发展趋势图[3]。神经形态计算领域的器件级研究中，自旋材料、相变存储器等新型非易常用来模拟生物突触和神经元的功能。但是，如图 1-3 所示，其中最经形态系统的元件是 Leon Chua[4]于 1971 年提出并由惠普实验室[5]在忆阻器。Leon Chua 将四个基本电路变量(电压、电流、电荷和磁通量通量关联起来，提出了忆阻的概念并建立了忆阻的理论模型。2008 年次制备出纳米级实物忆阻元件，建立了忆阻的电路模型，为忆阻元件的

中 科 技 大 学 硕 士 学 位 论中矩阵-向量乘法的并行运算。当前可用于神经网络点乘列最大规模可以达到128 64的交叉阵列[7]，而且该阵列除传统神经网络算法的加速外，忆阻交叉阵列还可用时记忆网络[8]、层次时序记忆网络[9]等的硬件加速。因用于神经形态系统构建忆阻神经网络电路，对突破密集低、吞吐量损失等神经网络应用的瓶颈具有重要意义。


本文编号：3513633