基于剪枝的卷积神经网络压缩方法研究

发布时间：2021-07-20 05:21

　　近些年来,卷积神经网络在许多与计算机视觉相关的任务（如目标检测和图像识别）上均取得了显著的成就。但是多数卷积神经网络的优异性能都以计算和内存成本的显著增加作为代价,因此很难将它们部署在资源受限的环境（如移动设备和嵌入式设备）中。因此,对卷积神经网络进行压缩和加速,降低其对计算和内存资源的消耗,已逐渐成为一个热门的研究领域。剪枝是卷积神经网络压缩的主要方法之一,它可以有效识别并剔除网络的冗余部分,同时最小化网络性能的损失。本文围绕剪枝提出两种结构化的剪枝方法用于对现代卷积神经网络进行压缩,进而达到加速的目的。本文具体的贡献总结如下:1.为了解决现有的非结构化剪枝方法难以获得实际加速的问题,本文提出了一种结构化的基于重要性的全局滤波器剪枝方法。该方法首先通过引入梯度信息,对多批次样本训练过程中生成的梯度进行统计,并将归一化后的统计值作为最终的滤波器重要性分数,利用重要性分数可以评估移除滤波器对网络性能带来的影响。然后在此基础上设置全局剪枝率构建一个全局排名,通过全局排名可以高效的完成单次修剪。最后在重训练的过程中恢复网络的性能。此外,该方法使用了一种分组剪枝的方式来解决剪枝Res Net时... 

【文章来源】：重庆邮电大学重庆市

【文章页数】：60 页

【学位级别】：硕士

【部分图文】：

被修剪的卷积滤波器与下一层特征映射图和相关滤波器的关系

重庆邮电大学硕士学位论文第2章卷积神经网络压缩基础理论9第2章卷积神经网络压缩基础理论2.1卷积神经网络的基本概念2.1.1卷积神经网络基本结构卷积神经网络的基本结构最初是受到生物自然视觉认知机制的启发而来的。在上个世纪60年代左右，D.H.Hubel和T.N.Wiesel[42]提出猫的初级视觉系统中，单个神经元仅在被称为“感受野”的视野受限区域内对刺激做出反应。在此基础上，K.Fukushima等[43]仿造生物的视觉皮层，提出了一种以“神经认知”命名的多层人工神经网络。神经认知模型也被认为是启发了卷积神经网络的开创性研究。随后，Y.LeCun等人利用反向传播(BackPropagation,BP)算法来训练多层神经网络，并将其成功用于手写数字字符识别，从而形成了经典的LeNet-5网络结构，结构如图2.1[7]所示。与传统图像识别算法需要分为预处理、特征提取与选择等若干步骤不同，LeNet-5采用了“端到端”的学习方式，通过不同模块的层层堆叠使得网络可以直接从原始数据中学习其特征并最终完成任务，从此形成了当代卷积神经网络的雏形。图2.1LeNet-5结构描述总体来说，卷积神经网络是一种层次结构模型。它的输入是图像、音频或文本等原始数据，通过卷积、池化和非线性激活函数映射等运算操作的层层堆叠和组合，从原始数据输入层中逐层抽取高层语义信息并进行抽象，这一过程称为“前向传播”。其中，不同类型的运算操作在卷积神经网络中通常被称为“层”：卷积操作对应“卷积层”，池化操作对应“池化层”等。最后，卷积神经网络的最后一层将目标任务（分类、回归等）形式化为目标函数，然后通过计算预测值和真实值之间的误差或

重庆邮电大学硕士学位论文第2章卷积神经网络压缩基础理论13(a)第一次卷积操作与输出特征(b)第二次卷积操作与输出特征(c)第三次卷积操作与输出特征(d)第九次卷积操作与输出特征图2.2卷积操作示例2.2.2池化层当图像数据的尺寸较大时，池化(pooling)层可以对其进行“下采样”(down-sampling)操作。池化结果中的一个元素对应于原输入数据的一块子区域，因此池化操作相当于在空间范围内进行了维度约减，从而使模型可以提取更广范围的特征，同时压缩了输入的特征图，导致下一层的参数减少，进而简化了卷积神经网络计算时的复杂度。值得注意的是，在池化层中并没有可以学习的参数，而池化操作与卷积操作类似，都需要设置窗口大小和步长。池化操作最常用的形式是最大值池化(maxpooling)。如图2.3所示，最大值池化从输入特征图中选取窗口，在每个窗口中选择最大值，并丢弃所有其他值。在实践中最大值池化通常使用2×2大小且步长为2的过滤器，这会将原始特征图的平面尺寸下采样2倍。与高度和宽度不同，特征图的深度尺寸是保持不变的。图2.3最大值池化操作


本文编号：3292217