面向低功耗低成本神经网络处理器的近似计算技术研究

发布时间：2024-04-12 04:48

　　如何减少面向物联网设备(如可穿戴健康监测设备、微型智能感知设备等)的神经网络处理器的功耗与成本,是实现人工智能物联网(AIoT)技术的关键问题。采用二值神经网络、新型存储器(如忆阻器RRAM、近阈值SRAM)等近似计算技术,可以大幅降低神经网络处理器的功耗与成本。然而,RRAM或近阈值SRAM存在较大电路参数偏差,导致神经网络的准确度下降较大。如何解决以上近似计算技术的问题,在降低神经网络处理器功耗与成本的同时,保证较高的准确度,是本工作的主要研究目标。针对以上问题,本文开展了如下研究工作:(1)通过模拟RRAM/近阈值SRAM的电路参数偏差,对二值神经网络的权值矩阵及准确度进行了大量实验,发现经过二值量化后的神经网络具有一定的容错能力,并且不同权值矩阵对神经网络准确度的影响不同。(2)通过分析新型存储器技术(包括RRAM和近阈值SRAM)与传统SRAM存储技术的优缺点,利用二值神经网络具有一定容错能力的特性,提出一种混合权值存储机制,将非关键权值矩阵映射到RRAM/近阈值SRAM,关键权值矩阵映射到传统SRAM,大幅降低了硬件功耗与成本,同时保证了足够的准确度。(3)针对如何搜索二值...

【文章页数】：73 页

【学位级别】：硕士

【部分图文】：

图2-1卷积神经网络结构图

电子科技大学硕士学位论文8第二章神经网络处理器近似计算技术介绍因为目前大量研究和本文分析对象都主要是基于DCNN，因此本章首先介绍DCNN的结构和原理。接着，从神经网络算法和硬件电路实现两个方面，介绍面向低功耗低成本神经网络处理器的相关近似计算技术。在神经网络算法上，介绍网络剪枝....

图2-2卷积计算过程原理图

第二章神经网络处理器近似计算技术介绍92.1.1卷积层卷积层是DCNN的核心，每个卷积层包含多个卷积核，通过与输入图像的卷积运算进行相关特征提龋每一个卷积层涉及4个超参数：输入通道、输出通道、卷积核的长与宽。输入通道数与该层的输入数据通道数相对应，输出通道数由网络结构决定，卷积核....

图2-3网络剪枝示意图

电子科技大学硕士学位论文102.1.2全连接层全连接层通常位于卷积层之后，一般用于对提取特征进行分类或者回归。经过卷积层输出的多通道特征图将展开成一维向量，作为全连接层的输入，输入向量与对应权值向量进行点积运算，计算结果再加上偏置b，并经过激活函数σ激活得到输出神经元的结果，计算....

图2-4“迭代剪枝”过程

??缱既?度的重要程度，最常用的方式是根据权值的L1/L2范数进行排序，按照一定的剪枝率修剪权值。修剪后的网络准确度可能会有下降，可通过重训练（重训练一般只进行几次迭代训练，迭代次数远小于第一次网络训练，也称为微调）恢复准确度。由于剪枝率是一个超参数，如果一开始设置过大，可能直接....

本文编号：3951689