基于乘积量化的深度神经网络压缩方法

发布时间：2020-11-18 21:18

　　 近年来,深度神经网络在计算机视觉、自然语言处理和文本数据等各个领域取得卓越成就。但随之而来的问题是深度神经网络随着模型加深和过度参数化,其网络规模、计算量、耗电量、存储量都在成倍增加,最终导致超大体系结构计算效率较低。尤其是对于具有受限计算和能力资源的应用程序,例如Web服务、移动和嵌入式设备。针对深度学习架构在计算上昂贵且占用大量内存,无法部署在内存资源低的设备(如手机)或移动端的问题,本文提出了一种基于剪枝与乘积量化组合使用对多种不同深度神经网络进行深度压缩的方法,解决深度神经网络中冗余参数过多,模型存储量大等问题。本文压缩网络的第一步是先正常搭建并训练好网络保存最佳参数模型。第二步即利用剪枝方法先阈值扫描确定阈值将网络权重矩阵中低于确定阈值的权重连接剪开减少深度神经网络中冗余参数,然后重新再训练网络补偿损失的性能,再利用乘积量化聚类实现权值共享,牺牲少部分精度,使得神经网络模型的参数量化为8bit,节省了网络的内存开销,提高了网络的压缩比和加速比。在基于GPU的Pytorch框架环境下,本文提出的方法在尽量不损失精度的前提下将LeNet-5、MLP、AlexNet、ResNet 和 VggNet-16 网络模型在 Mnist 或 CIFAR-10 等数据集实验下压缩至23至59倍,同时实现了 1.52至3.3倍的加速比,比单独剪枝压缩提高了至少一倍的压缩率,同时乘积量化相比Kmeans量化加速比提高了一倍以上。实验结果表明通过基于乘积量化结合剪枝的压缩方法,使得卷积神经网络在尽量不损失精度的要求下压缩比和加速比得到大幅度提升,从而让深度神经网络方法应用于嵌入式平台成为了可能。
【学位单位】：西安理工大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TP391.41;TP183
【部分图文】：

西安理工大学工程硕士专业学位论文8脑（神经网络），大脑不间断地获取信息并整合后发出合适的指令，神经网络的效应器接收到中枢的电信号后作出输出反应。图2-1神经系统的框图图Fig.2-1NervousSystem按照这个原理，激发了研究学者用神经系统作为类比的灵感，在已知的神经系统的结构和工作原理基础上，1943年，McCulloch，Pitts等人引入PM模型[49]（取自两个提出者的姓名首字母）的概念，它的数学模型如图2-2所示。模拟神经细胞行为，该模型虽然简单但证明了PM模型可以实现简单的逻辑表达式，为后来开发新的的神经网络研究步骤奠定了基矗当前的神经网络最开始就是以PM模型为参考来深入的。图2-2人工神经元数学模型Fig.2-2Artificialneuronmathematicalmodel具体的数学公式见式（2-1）：jiniijjTtxwftO)]([)1(1（2-1）其中，nix),...2,1(i是多个输入数据，ijw代表从神经元i到神经元j的连接权值，权值为神经元之间连接的强度，权值大小有正有负。正为加强，负为抑制。sigma表示求和，用于求全部输入信号得到的累加整合，jO为输出。f)(称为激活函数，它可以看作滤波器，接收外界各种各样的信号，通过调整函数，使神经元输出的期望值固定在一定范围内，所以也叫压制函数。典型的压制函数有阈值函数、分段函数、双极性连续函数sigmoid函数和tanh函数、径向基函数、ReLU函数、softplus函数等，它是神经网络的重要组成部分。对应的公式为：xexsigmoid11)(（2-2）

相关理论基础9xxxxeeeextanh(）（2-3）xxLU),0max()(Re（2-4）)1log()(xexsoftplus（2-5）表2-1可以看到生物神经元和PM模型的类比：表2-1生物神经元与MP模型比较Tab.2-1ComparisonofbiologicalneuronsandMPmodels生物神经元神经元输入信号权值输出总和膜电位阈值MP模型jixijwjo)(1txwiniijjT由PM模型的示意图，我们可以看到与生物神经元的相似之处，往后诞生的各种神经元模型都是由PM模型演变过来。1957年Rosenblatt将两层神经元搭建成单层神经网络，这就是感知机[50]的初步由来。感知机的提出引发了神经网络的深入研究，为之后很多机器学习算法如支持向量机甚至深度学习算法提供了新思路。区别于PM模型的是感知机的权值能够变化，如此便可训练学习。具体模型结构如图2-3所示。它包含三个过程：首先是输入信号线性加权求和过程，然后是非线性激活函数压制过程，同时利用偏差b来调整激活函数的网络输入，最后输出jO过程。因为感知机的返回值只有两种情况，所以单层感知机被设计用来对输入进行二分类，当感知器输出1时，输入为一类；当输出为1-时，输入为另一类。另外，感知机是一种最简洁的前馈型神经网络，没有任何隐藏层，其缺点是只能学习线性决策边界，只能用于二类线性分类的情况。最简单的XOR函数也不能被线性分类器分类。这是激活函数限制的原因，所以解决办法就是通过改进激活函数（将分类线由直线改为如椭圆线的曲线）或者加深神经网络的层数（增加1条或多条直线条数来分类）。普遍做法是增加层数，于是有了多层感知器[51]。图2-3感知机的基本结构单元Fig.2-3Thebasicstructuralunitoftheperceptron

西安理工大学工程硕士专业学位论文10通过在输入层和输出层之间增加一个或多个隐含层，且每层的神经元都与下一层中的所有其他神经元相连，这种结构称作多层感知器如图2-4所示，起源于1958年。其中隐藏层储存了无法直接在训练数据中观察到的值，显然隐藏层的加入，可以形成将样本正确分类的凸域，相比单层感知器，多层感知器将不同的方法连接作用在不同的激活函数上，方便网络学习非线性决策边界，从而使多层感知器具有更强大的拟合能力，为复杂问题提供了简单的解决方案。但层数的增多带来隐含层的权值训练问题，单层感知器通过更新权重和修正误差来学习确定连接，然而，多层感知器因为层数多，不能跨层调整，无法进行多层训练。直到出现误差反向传播算法[52]图2-4多层感知机Fig.2-4MultilayerPerceptron直到误差反向传播神经网络即BP神经网络诞生，神经网络多层难训练才有了解决办法。简单来说，BP神经网络引入了前向传播和反向传播的概念提升了网络训练的计算能力。具体过程如图2-5所示，网络训练的过程如下：1）随机分配所有边的权重；2）前馈阶段：将训练集样本特征输入，计算激活函数，经过输入层、隐藏层、输出层直到输出预测值hatY；3）反馈阶段：将输出值hatY与样本值Y比较，使用梯度下降法优化代价函数2)(211),hatYYn（bwJ，利用差异反向传播调整连接权重，更新权重；4）重复2）到3）直到输出误差低于制定标准。
【相似文献】

相关期刊论文 前10条

1 段秉环;文鹏程;李鹏;;面向嵌入式应用的深度神经网络压缩方法研究[J];航空计算技术;2018年05期

2 姜懿家;;卷积神经网络的压缩研究[J];电子制作;2019年02期

3 李杰;孙仁诚;;几种典型卷积神经网络的权重分析与研究[J];青岛大学学报(自然科学版);2019年04期

4 刘佩林;张钰玲;;基于卷积神经网络的语音识别分析[J];电脑迷;2017年01期

5 代耀彬;朱燕燕;黄双华;;基于卷积神经网络的群众留言分类[J];无线互联科技;2020年12期

6 冯伟业;廖可非;欧阳缮;牛耀;;基于胶囊神经网络的合成孔径雷达图像分类方法[J];科学技术与工程;2019年28期

7 李莲;丁文宽;;基于卷积神经网络的辣椒识别[J];天津理工大学学报;2017年03期

8 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期

9 王方;苗放;陈垦;;基于优化神经网络的地质灾害监测预警仿真[J];计算机仿真;2019年11期

10 马猛;王明红;;基于进化神经网络的304不锈钢车削加工表面粗糙度预测[J];轻工机械;2019年06期

相关博士学位论文 前10条

1 肖理业;基于机器学习的电磁场建模与设计研究[D];电子科技大学;2019年

2 陈涵瀛;核电站热工水力系统工况预测与诊断方法研究[D];哈尔滨工程大学;2018年

3 梁智杰;聋哑人手语识别关键技术研究[D];华中师范大学;2019年

4 刘昂;微结构硅基光子学器件性能的研究[D];南京大学;2019年

5 赵博雅;基于卷积神经网络的硬件加速器设计及实现研究[D];哈尔滨工业大学;2018年

6 杜昌顺;面向细分领域的舆情情感分析关键技术研究[D];北京交通大学;2019年

7 陈科海;机器翻译上下文表示方法研究[D];哈尔滨工业大学;2019年

8 饶红霞;信息受限下神经网络的状态估计和拟同步研究[D];广东工业大学;2019年

9 张马路;Spiking机器学习算法研究[D];电子科技大学;2019年

10 付钱华;忆阻神经网络的动力学研究[D];电子科技大学;2019年

相关硕士学位论文 前10条

1 方秀勤;基于乘积量化的深度神经网络压缩方法[D];西安理工大学;2020年

2 李永礼;基于脉冲神经网络的视觉图像分类方法研究[D];北京化工大学;2019年

3 王征韬;深度神经网络压缩与优化研究[D];电子科技大学;2017年

4 张继刚;基于神经网络编解码的远程桌面的设计与实现[D];山东大学;2020年

5 何龙;网约车用户满意度的LDA-神经网络分类[D];重庆大学;2019年

6 樊志文;基于深度卷积神经网络的CS-MRI重建方法研究[D];厦门大学;2019年

7 冯冰;基于深度学习的环境声音分类研究[D];厦门大学;2017年

8 柴志忠;基于深度卷积神经网络的病理影像研究[D];厦门大学;2019年

9 代光海;基于神经网络的运动想象脑电信号识别技术研究[D];电子科技大学;2020年

10 刘晓瑜;基于卷积神经网络的新鲜-冷冻猪肉近红外光谱检测研究[D];湖南大学;2019年

本文编号：2889212