深度神经网络模型压缩综述

发布时间：2021-02-10 09:27

　　近年来,随着深度学习的飞速发展,深度神经网络受到了越来越多的关注,在许多应用领域取得了显著效果。通常,在较高的计算量下,深度神经网络的学习能力随着网络层深度的增加而不断提高,因此深度神经网络在大型数据集上的表现非常卓越。然而,由于其计算量大、存储成本高、模型复杂等特性,使得深度学习无法有效地应用于轻量级移动便携设备。因此,压缩、优化深度学习模型成为目前研究的热点。当前主要的模型压缩方法有模型裁剪、轻量级网络设计、知识蒸馏、量化、体系结构搜索等。对以上方法的性能、优缺点和最新研究成果进行了分析总结,并对未来研究方向进行了展望。 

【文章来源】：计算机科学与探索. 2020,14(09)北大核心

【文章页数】：15 页

【部分图文】：

模型压缩分类

在MobileNet网络中使用3×3深度卷积，其计算量比标准卷积下降89%左右，同时精度下降很少。此外，算法中还引入了一个宽度因子α来缩减网络宽度而不是缩减层数。与标准卷积相比，深度分离卷积使得模型在ImageNet数据集上的精度只降低1个百分点，同时参数规模减少了86%。MobileNet V2[50]模型是对MobileNet的改进，该模型中引入了残差结构，使用线性激活函数代替ReLU激活函数来减少特征损失，从而提升了MobileNet的性能。4.2.2 ShuffleNet

Channel Shuffle结构

【参考文献】：
期刊论文
[1]一种用于卷积神经网络压缩的混合剪枝方法[J]. 靳丽蕾,杨文柱,王思乐,崔振超,陈向阳,陈丽萍.  小型微型计算机系统. 2018(12)
[2]神经网络模型压缩方法综述[J]. 曹文龙,芮建武,李敏.  计算机应用研究. 2019(03)
[3]基于权值相似性的神经网络剪枝[J]. 黄聪,常滔,谭虎,吕绍和,王晓东.  计算机科学与探索. 2018(08)
[4]带比例因子的卷积神经网络压缩方法[J]. 徐喆,宋泽奇.  计算机工程与应用. 2018(12)



本文编号：3027150