基于权重剪枝的神经网络模型压缩方法的研究及应用

发布时间：2021-07-28 12:31

　　近几年,深度神经网络因其出色的特征提取能力,在计算机视觉、自然语言处理等领域都取得了突破性的进展。深度神经网络的迅速发展也不断带动着其在工程领域的广泛应用,但深度神经网络在性能提升的同时也带来了模型计算复杂度增加、模型存储密集等问题,这限制了其在资源受限的嵌入式设备上的应用。模型权重剪枝作为模型压缩的一种有效方法,就是为了解决以上问题。本文关于模型权重剪枝的工作主要归纳如下:1.介绍了模型压缩基本框架,并对目前国内外模型压缩研究现状进行调研,总结分析了各种方法的优势和不足。2.提出了基于间隔阈值搜索的自适应剪枝及其改进算法。目前的剪枝算法大都以剪枝率指导模型剪枝,这需要不停手动尝试不同剪枝率以获得最佳模型,耗时且低效。针对该问题,本文提出的算法以模型准确率指导模型剪枝,通过设定准确率下降阈值的方法不仅保证了模型准确率损失在给定范围内,同时在工程领域对准确率要求不同的应用场景,也可自适应进行准确率调节以达到尽可能好的剪枝效果。该算法首先在参数的绝对值极值范围内设定等间隔值,然后对这些间隔值通过网格搜索方法找到准确率下降满足要求的最佳剪枝阈值,从而实现模型自适应剪枝。在此基础上,本文结合二... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：73 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 深度学习的研究现状
        1.2.2 模型压缩的研究现状
    1.3 本文研究内容
    1.4 本文组织结构
第二章 模型压缩基础理论
    2.1 模型压缩基本框架
    2.2 模型预训练
        2.2.1 深度神经网络基本特点
        2.2.2 深度神经网络基本组成
    2.3 模型剪枝
        2.3.1 剪枝粒度
        2.3.2 剪枝评价
    2.4 模型存储
    2.5 本章小结
第三章 基于阈值搜索的空域剪枝算法
    3.1 空域剪枝算法整体框架介绍
    3.2 基于间隔阈值搜索的自适应剪枝
        3.2.1 间隔阈值搜索
        3.2.2 间隔数设置
    3.3 基于二分结合阈值搜索的自适应剪枝
        3.3.1 二分结合的间隔阈值搜索
        3.3.2 误剪参数动态恢复
    3.4 实验结果与分析
        3.4.1 实验数据集
        3.4.2 实验设置
        3.4.3 实验结果
    3.5 本章小结
第四章 基于离散余弦变换的频域剪枝算法
    4.1 频域剪枝算法整体框架介绍
    4.2 深度神经网络在频域上的变换
        4.2.1 频域变换
        4.2.2 频域剪枝分析
    4.3 基于离散余弦变换的频域剪枝
        4.3.1 结合阈值搜索的频域剪枝
        4.3.2 数据驱动的频域剪枝
    4.4 实验结果与分析
        4.4.1 实验设置
        4.4.2 实验结果
        4.4.3 稀疏存储
    4.5 本章小结
第五章 全文总结与展望
    5.1 全文总结
    5.2 后续工作展望
致谢
参考文献
攻读专业硕士学位期间取得的成果



本文编号：3307922