基于通道修剪的深度网络轻量化研究

发布时间：2021-02-25 17:09

　　深度卷积神经网络在机器视觉的各个领域都取得了显著的效果,在图像识别、语义分割、行为检测、图像跟踪等任务上,获得了超过人类能力的性能表现。高性能的网络模型往往对硬件的算力、资源和能耗等方面有更高的要求。在工程化应用的过程中,如何将这类资源消耗性的网络模型部署到资源受限的移动/嵌入式设备上,这仍然是一个亟待解决的挑战。模型轻量化技术是由工程派研究人员提出,在少量额外精度产生的前提下,用精简网络来替换深度网络的一种解决方案。这种方案通常是基于特定的规则,通过网络稀疏化操作后,获得相对紧凑的网络模型来完成既定的机器学习任务。本文采用了两种通道修剪策略来实现深度神经网络的轻量化设计,基于混合统计特征的选择准则以及基于强化学习的分配准则。具体而言,对预训练的网络模型而言,基于混合统计特征的选择准则采用了修剪阈值作为灵敏度指标来替代固定比例的修剪方式,选取了每个特征层中的统计特征作为观察值,进而构造评价函数,通过评估各个层中特征图的统计得分,来筛选出负得分的通道,通过掩膜屏蔽相关权重的更新。基于强化学习的分配准则围绕通道修剪任务,重定义了强化学习的动作、状态空间,采用了改进的Q-learning策略... 

【文章来源】：湘潭大学湖南省

【文章页数】：64 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 课题研究背景及意义
    1.2 国内外研究现状
        1.2.1 深度神经网络模型压缩
        1.2.2 深度神经网络通道裁剪
        1.2.3 强化学习与框架搜索
    1.3 本文研究创新点及章节安排
第二章 相关理论
    2.1 卷积神经网络
    2.2 多层网络的通道修剪方式的讨论
    2.3 强化学习
        2.3.1 强化学习要素
        2.3.2 基于值函数的强化学习算法
    2.4 本章小结
第三章 基于混合统计特征的通道修剪方法
    3.1 引言
    3.2 基于统计选择的通道修剪
        3.2.1 基于统计的挑选准则
        3.2.2 修剪策略
        3.2.3 超参数调度
    3.3 实验结果与分析
        3.3.1 在Darknet模型上的实验结果
        3.3.2 在VGG-16模型上的实验结果
        3.3.3 在Res Net-50 模型上的实验结果
    3.4 本章小结
第四章 基于强化学习的通道分配方法
    4.1 引言
    4.2 方法
        4.2.1 问题描述
        4.2.2 状态空间
        4.2.3 动作空间
        4.2.4 E-learning代理
        4.2.5 奖励函数
    4.3 实验结果
        4.3.1 在 CIFAR-10 数据集上的运行结果
        4.3.2 在 Image Net 数据集上的运行结果
    4.4 本章小结
第五章 总结与展望
    5.1 全文总结
    5.2 项目展望
参考文献
致谢
个人简历、在学期间发表的学术论文及研究成果


【参考文献】：
期刊论文
[1]一种基于Lasso回归与SVD融合的深度学习模型压缩方法[J]. 吴进,吴汉宁,刘安,李聪,李乔深.  电讯技术. 2019(05)
[2]基于特征复用的卷积神经网络模型压缩方法[J]. 冀树伟,杨喜旺,黄晋英,尹宁.  计算机应用. 2019(06)
[3]强化学习研究综述[J]. 马骋乾,谢伟,孙伟杰.  指挥控制与仿真. 2018(06)
[4]基于DSD和剪枝的模型压缩与加速[J]. 褚莹,凌力.  微型电脑应用. 2018(11)
[5]权重量化的深度神经网络模型压缩算法[J]. 陈昀,蔡晓东,梁晓曦,王萌.  西安电子科技大学学报. 2019(02)
[6]基于统计分析的卷积神经网络模型压缩方法[J]. 杨扬,蓝章礼,陈巍.  计算机系统应用. 2018(08)
[7]神经网络模型压缩方法综述[J]. 曹文龙,芮建武,李敏.  计算机应用研究. 2019(03)
[8]面向嵌入式应用的深度神经网络模型压缩技术综述[J]. 王磊,赵英海,杨国顺,王若琪.  北京交通大学学报. 2017(06)
[9]深度网络模型压缩综述[J]. 雷杰,高鑫,宋杰,王兴路,宋明黎.  软件学报. 2018(02)
[10]图像分类卷积神经网络的特征选择模型压缩方法（英文）[J]. 邹月娴,余嘉胜,陈泽晗,陈锦,王毅.  控制理论与应用. 2017(06)

硕士论文
[1]基于参数和特征冗余的神经网络模型压缩方法[D]. 杨文慧.西安电子科技大学 2018
[2]Qlearning强化学习算法的改进及应用研究[D]. 马朋委.安徽理工大学 2016



本文编号：3051288