基于通道剪枝的模型压缩和加速算法研究

发布时间：2021-12-23 14:58

　　近年来,深度学习已经成为计算机视觉、语音识别和自然语言处理等机器学习任务的最先进的技术,在这些领域取得了突破性进展。尽管如此,深度学习算法是计算密集型和存储密集型的,这使得它难以被部署到只有有限硬件资源的嵌入式系统上。因此,减少模型参数和计算量,压缩模型尺寸,加快模型运算速度,具有重要的现实意义。本文提出了两种基于通道剪枝的模型压缩和加速算法和一个统一的通道剪枝压缩框架。第一种是基于熵的通道剪枝方法,通过计算每层中各通道激活张量的熵值,评估该通道包含信息量的大小,进而评估通道的重要程度,对熵值得分排序,剪去熵值比较低的通道,从而达到压缩和加速模型的目的。第二种是基于最优子集的通道剪枝方法,每层中的激活张量既是上层卷积层的输出,又是下层卷积层的输入,通过贪心算法求解它的一个最优子集,使得该子集能够最大限度地近似原来的激活张量,输入到下层卷积层中产生相同的输出,这样就可以剪去其它的通道从而压缩和加速模型。在剪枝过程中,采用的是逐层剪枝微调的策略,每次只剪枝一层,尽可能地减少性能损失;每次剪枝后对模型进行一次微调训练,尽可能地恢复模型性能;每层的剪枝交替迭代进行,最后一次剪枝进行一次细致的微... 

【文章来源】：厦门大学福建省 211工程院校 985工程院校 教育部直属院校

【文章页数】：75 页

【学位级别】：硕士

【部分图文】：

图１－１量化和权值共享示意图??

深度学习之所以能够取得优秀的效果，很大程度上在于其强大的非线性表达??能力。深度神经网络层与层之间相互连接，每层会包含一个非线性的激活函数，??因此每层会提取出复杂的特征，这些特征又会作为下层的输入数据，产生下一层??的非线性特征，直到最终输出一组表达能力强大的特征，浅层网络往往无法表征??如此复杂的函数。实际上，深度神经网络模拟了一个复杂的非线性函数，它通常??是非凸的，难以进行优化，使用随机梯度下降法可以很好的找到网络的局部最优??解。Ｈｉｎｔｏｎ、ＬｅＣｕｎ、Ｂｅｎｇｉ〇［２８］研宄结果表明，损失函数的局部极值问题对深层??网络影响甚微，这是因为批量随机梯度下降法很难陷入局部最优，即使陷进去，??其局部最小值与全局最小值也非常接近。一个简单的三层神经网络的模型如图２－??３所示。??

数学模喟?Ｍ??图２－２深度学习发展历程??深度学习之所以能够取得优秀的效果，很大程度上在于其强大的非线性表达??能力。深度神经网络层与层之间相互连接，每层会包含一个非线性的激活函数，??因此每层会提取出复杂的特征，这些特征又会作为下层的输入数据，产生下一层??的非线性特征，直到最终输出一组表达能力强大的特征，浅层网络往往无法表征??如此复杂的函数。实际上，深度神经网络模拟了一个复杂的非线性函数，它通常??是非凸的，难以进行优化，使用随机梯度下降法可以很好的找到网络的局部最优??解。Ｈｉｎｔｏｎ、ＬｅＣｕｎ、Ｂｅｎｇｉ〇［２８］研宄结果表明，损失函数的局部极值问题对深层??网络影响甚微


本文编号：3548690