深度神经网络剪枝方法研究

发布时间：2020-03-26 23:02

【摘要】：深度学习,一种利用深度神经网络(Deep Neural Network,简称DNN)从数据中学习的机器学习算法,在最近几年正成为图像分类、语音识别和自然语言处理等领域的主流算法。然而现有的深度网络模型参数众多,导致其具有占用存储空间大和推断速度慢等缺点,从而限制了DNN在硬件条件有限的终端如手机和可穿戴智能设备上的应用。为了解决这个问题研究者提出了很多压缩和加速DNN的方法,其中剪枝(Pruning)是一类简单但非常有效的方法。剪枝即在维持DNN性能不下降的条件下删除某些不重要的部分。根据删除对象的不同,剪枝可分为权值剪枝和神经元剪枝,前者删除DNN中不重要的权值,而后者删除DNN中不重要的神经元。尽管DNN剪枝正受到越来越多研究者的关注,但仍有很多重要问题没有得到很好的研究。其中有三个问题是本文觉得需要迫切解决的:1)如何使DNN训练与剪枝同时进行的问题;2)如何设计更高效的神经元剪枝算法的问题;3)如何在特定任务上应用DNN剪枝的问题。本文针对这3个问题展开了研究,本文的主要贡献有:1.本文提出了一种可以使DNN训练和剪枝同时进行的方法。以往的DNN剪枝方法依赖于一个预先训练好的参考模型,即显式的分为训练和剪枝两个阶段,然而训练DNN本身是一个费时费力的过程。本文通过分析剪枝阈值对整个剪枝算法的重要作用,提出了一种基于可变阈值的从头剪枝方法(Pruning from scratch)。在该方法中,剪枝阈值不仅可以根据DNN训练进行动态改变,而且可以自适应于DNN训练过程中权值的分布变化,从而在训练完成的同时完成对DNN权值的剪枝。2.本文提出了一种新的基于优化非线性重构误差的逐层剪枝神经元的方法(Layer-wise Neuron Pruning based on Nonlinear Reconstruction Error,简称LNP-NRE)。与以往的逐层剪枝神经元方法使用的线性重构误差不同的是,非线性重构误差考虑了DNN中的非线性激活函数,因而是一个更加合理的优化目标。基于此优化目标,本文提出了一种新的逐层剪枝神经元算法LNP-NRE。实验结果证明了LNP-NRE在相同水平的准确率损失下,可以比现有方法剪枝更多的神经元。3.本文针对细粒度图像分类任务,提出了基于注意力机制的卷积神经网络通道剪枝的方法(Attention-based Channel Pruning,简称ACP)。卷积神经网络(Convolutional Neural Network,简称CNN)是DNN中专门用于处理图像相关任务的网络模型,CNN通道剪枝与DNN神经元剪枝相对应。剪枝后的网络通常运行在像手机或可穿戴设备这样的个人设备上,这就意味着在剪枝的实际使用场景中,小规模细粒度分类任务占的比例更大。然而,由于数据量的缺乏,直接在此类任务上训练CNN会导致严重的过拟合,因此本文首先通过迁移学习把在通用任务上训练的CNN迁移到细粒度分类任务上,然后通过注意力机制与稀疏正则化方法的联合使用对CNN中的冗余通道进行剪枝。实验结果验证了ACP方法的有效性。
【图文】：

趋势图,趋势,基础技术

逦逦逡逑议逦国际神经信息处理系统会议（Ｃｏｎｆｅｒｅｎｃｅ邋ｏｎ邋Ｎｅｕｒａｌ邋Ｉｎｆｏｒｍａｔｉｏｎ邋Ｐｒｏｃｅｓｓｉｎｇ逡逑Ｓｙｓｔｅｍｓ，简称ＮＩＰＳ）的投稿量逐年上涨（如图１．２所示），在最近６年上涨了近４逡逑倍；近两年，包括中科院大学、南京大学在内众多顶尖高校成立了人工智能学院，逡逑深度学习是其中的重要研究内容。在工业界，一方面传统大公司纷纷组建与深逡逑度学习相关的研究机构，如百度成立的深度学习研究院，谷歌收购的ＤｅｅｐＭｉｎｄ；逡逑另一方面，以深度学习为基础技术的创业公司如雨后春笋般层出不穷，如机器视逡逑觉领域的商汤科技、旷视科技，语音识别领域的科大讯飞，智能客服领域的微软逡逑小冰、苹果Ｓｉｒｉ，神经网络芯片领域的寒武纪科技，，以及在智能医疗领域致力于逡逑将深度学习和医疗影像相结合的羽医甘蓝等。逡逑深度学习不仅受到广泛关注，越来越多与深度学习相关的产品正在走入我逡逑们的生活。现在的智能手机是人们每天花费时间最多的设备，图１．３列出了一些逡逑以深度学习为基础技术的Ａｐｐ。可以看到，这些Ａｐｐ涉及生活中方方面面，如逡逑在娱乐方面基于图像理解的美图秀秀、Ｆａｃｅｕ激萌和Ｐｒｉｓｍａ，在学习方面基于图逡逑像搜索的小猿搜题，在商务方面有基于语音识别的出门问问。可以想象，在未来逡逑深度学习将成为我们生活中不可缺少的一部分。逡逑

手机,神经网络,神经网络芯片,商汤

逑议逦国际神经信息处理系统会议（Ｃｏｎｆｅｒｅｎｃｅ邋ｏｎ邋Ｎｅｕｒａｌ邋Ｉｎｆｏｒｍａｔｉｏｎ邋Ｐｒｏｃｅｓｓｉｎｇ逡逑Ｓｙｓｔｅｍｓ，简称ＮＩＰＳ）的投稿量逐年上涨（如图１．２所示），在最近６年上涨了近４逡逑倍；近两年，包括中科院大学、南京大学在内众多顶尖高校成立了人工智能学院，逡逑深度学习是其中的重要研究内容。在工业界，一方面传统大公司纷纷组建与深逡逑度学习相关的研究机构，如百度成立的深度学习研究院，谷歌收购的ＤｅｅｐＭｉｎｄ；逡逑另一方面，以深度学习为基础技术的创业公司如雨后春笋般层出不穷，如机器视逡逑觉领域的商汤科技、旷视科技，语音识别领域的科大讯飞，智能客服领域的微软逡逑小冰、苹果Ｓｉｒｉ，神经网络芯片领域的寒武纪科技，以及在智能医疗领域致力于逡逑将深度学习和医疗影像相结合的羽医甘蓝等。逡逑深度学习不仅受到广泛关注，越来越多与深度学习相关的产品正在走入我逡逑们的生活。现在的智能手机是人们每天花费时间最多的设备
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP18

【相似文献】