卷积神经网络压缩技术的研究与实现

发布时间：2022-10-19 08:52

　　随着深度学习的研究和发展,卷积神经网络在计算机视觉等领域取得了突破性的进展。然而卷积神经网络中存在大量参数,需要占用较多的计算和存储资源,这导致模型难以部署在资源有限的移动设备上。为了减少模型对硬件资源的消耗,卷积神经网络剪枝压缩技术被广泛研究。目前关于剪枝方法的研究中,基于参数重要性的剪枝和基于参数稀疏性的剪枝是两个重要的研究方向。本文针对这两个方向的主要研究内容如下:提出一种基于注意力机制的参数重要性衡量算法,该算法借助注意力模块,给卷积神经网络中同层滤波器的输出通道赋予权重,并以此计算滤波器重要性,在滤波器级别指导网络剪枝。实验结果表明,在相同剪枝比例下,本文提出的算法可以获得更高的准确率。在基于参数稀疏性的剪枝方面,提出一种基于正则化的全局剪枝算法,解决如何自适应地控制卷积神经网络中各层剪枝比例的问题。通过对通道权重应用L1正则化,将权重趋近于0的通道移除。使卷积神经网络自主地进行通道级别的特征选择,增强结构稀疏性。此外,针对Tensorflow框架下基于掩膜运算的剪枝在性能上的缺陷,本文提出一种能够有效实现参数裁剪效果的剪枝方法。实验结果表明,基于正则化的全局剪枝方法能够进一... 

【文章页数】：68 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 基于参数重要性剪枝的研究现状
        1.2.2 基于参数稀疏性剪枝的研究现状
    1.3 本文的主要工作
    1.4 论文组织架构
第二章 基于注意力机制的参数重要性衡量方法
    2.1 问题描述
    2.2 卷积神经网络
        2.2.1 全连接层
        2.2.2 卷积层
        2.2.3 池化层
        2.2.4 损失函数
    2.3 滤波器级别的剪枝
    2.4 滤波器重要性衡量方法
        2.4.1 注意力模块
        2.4.2 通道重要性得分计算
        2.4.3 剪枝步骤
    2.5 实验和结果分析
        2.5.1 数据集和模型
        2.5.2 CIFAR-10数据集结果
        2.5.3 CIFAR-100数据集结果
    2.6 本章小结
第三章 基于正则化的全局剪枝方法
    3.1 问题描述
    3.2 基于正则化的全局剪枝方法
        3.2.1 正则化技术
        3.2.2 剪枝步骤
    3.3 改进的Tensorflow剪枝方法
    3.4 实验和结果分析
        3.4.1 数据集和模型
        3.4.2 缩放因子分布
        3.4.3 CIFAR-10数据集结果
    3.5 本章小结
第四章 基于压缩神经网络的植物识别应用的设计与实现
    4.1 系统需求分析
        4.1.1 开发环境
        4.1.2 功能需求
    4.2 系统概要设计
    4.3 数据库设计
    4.4 系统详细设计
        4.4.1 植物识别模块
        4.4.2 动态发布和查看模块
    4.5 系统实现
        4.5.1 植物识别模块
        4.5.2 动态发布和查看模块
    4.6 系统测试
        4.6.1 功能测试
        4.6.2 性能测试
    4.7 本章小结
第五章 总结和展望
    5.1 总结
    5.2 展望
参考文献
致谢
作者攻读学位期间发表的学术论文目录


【参考文献】：
期刊论文
[1]语音识别的研究与发展[J]. 何湘智.  计算机与现代化. 2002(03)



本文编号：3693067