基于参数和特征冗余的神经网络模型压缩方法

发布时间：2021-07-31 13:17

　　近年来,由于卷积神经网络（Convolution Neural Network,CNN）在图像识别、语音识别、自然语言处理等诸多领域中取得了前所未有的成果而被广泛应用,CNN模型在不断逼近计算机视觉任务的精度极限的同时,其深度和尺寸也在成倍增长。模型体积庞大、对硬件资源要求高、存储开销大以及功耗惊人等问题都非常不利于其在移动端和嵌入式端的部署和应用。在这样的情形下,对CNN模型进行压缩显得尤为重要。早期就有学者提出了一系列CNN模型压缩方法,如权值量化、低秩分解等,但是压缩率和效率远不能令人满意。目前,针对CNN模型参数冗余问题,研究者们通过设计高效的卷积结构代替传统的卷积层,以达到减少参数量和计算量的目的,但是此类方法仍然存在神经元（或特征）退化严重、模型泛化能力低等问题;另外,针对特征冗余问题,研究人员提出了以逐层的方式对通道进行剪枝的方法,此类方法对常规卷积层堆叠而成的结构剪枝效果较好,但不适用于高效卷积结构（如深度可分离卷积,高效残差单元等）,具有较大的局限性。针对以上问题,本论文提出了一种基于非均匀分组逐点卷积的神经网络模型压缩方法及一种基于特征冗余分析的神经网络跨层剪枝方法... 

【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校

【文章页数】：71 页

【学位级别】：硕士

【部分图文】：

常规卷积操作

2c 。图3.2 均匀分组卷积操作因此，均匀分组卷积过程中卷积核的参数量为：1 1 1 22 ( h w c / 2 c/ 2)；总的计算量为：1 1 1 22 ( h w c / 2 c / 2 H W)；所以均匀分组卷积和常规卷积的计算量比值为：1 21 11 1 1 22 ( )12 22c ch w H Wh w c c H W(3-1)根据式（3-1）可知，当分组数为 2 时，分组卷积的计算量为常规卷积的1/2。以此类推，当分组数为 g 时，则为1/ g 。由此可见分组数越多，参数量越少。使用均匀分组卷积结构，模型的参数量和计算量都大幅度降低，然而这种操作也

匀分组的同时，引入了组间信息交换的机制，提出了“通道重排”的概念，如图 3.3所示。图3.3 通道重排[36]图中 Input 和 Output 分别表示输入和输出特征，Channel 表示通道维度，GConv1和 GConv2 表示采用分组卷积的层，Feature 表示第一个分组卷积的输出组合后的特征。图中红绿蓝三种颜色分别代表一个组，共有三个组。图 3.3（a）为只采用了分组卷积没有采用通道重排策略的效果图，每个卷积核只接收各自组内的特征作为输入；图 3.3（b）则采用了通道重排策略，具体是将不同组的子组作为 GConv2 的一个组的输入，使得 GConv2 的每一个组都能对输入的所有组的特征图做卷积；图 3.3（c）是结合分组卷积和通道重排后的效果图。由于通道重排是可导的


本文编号：3313537