计算机视觉中的深度模型压缩

发布时间：2020-05-22 21:40

【摘要】：近些年来,卷积神经网络已然成为计算机视觉领域的默认支柱性方法。无论在高级视觉任务(如分类、检测),还是在低级视觉任务(如神经风格迁移、超分辨率),都取得了令人瞩目的成果。然而,卷积神经网络往往参数量巨大,导致所需要的存储量、计算量、能耗均比较大,这严重限制了它们的实际应用。模型压缩是一个剔除深度神经网络冗余度从而降低存储量、加快速度的新兴研究领域。在本论文中,作者提出了两种结构化剪枝算法(SPP和IncReg)用于在分类任务上对现代深度神经网络进行加速。同时,在低级视觉领域中的风格迁移问题上,作者基于知识蒸馏提出了 StyleDistill模型压缩方法对VGG19网络进行剪枝。与本领域其他最优方法相比,本文中充足的实验验证了这三种方法的有效性。本文具体的创新点和贡献总结如下:1.参数剪枝是一类很有潜力的模型压缩方法,其目标是剔除掉网络中无用的参数同时保持精度不大幅下降。在众多的剪枝方法中,结构化剪枝是为了产生规整的稀疏性从而可以实现加速而非存储量上的压缩。对剪枝而言,一个至关重要但目前仍未解决的问题是参数的相对重要性标准,它对于剪枝性能有着很重要的影响。由于神经网络的严重非凸性与过参,提出一个理论上完备、实际中可行的重要性标准是极其困难的。所以,本论文中,作者提出换一个角度提升剪枝性能,即设计一个更好的剪枝过程。基于这样的思想,SPP算法被提出。它对网络中每一个权重分配一个剪枝概率,从而使得原来离散的剪枝变得连续化,这样有利于网络在剪枝过程中自我调整、恢复。同时,通过调整这些剪枝概率,我们还可以纠正由于参数重要性标准(如L1-norm)不够完善而导致的误判。SPP算法配合列剪枝在大型卷积网络(AlexNet,VGG16,ResNet50)在ImageNet数据集上得到了良好的结果。但是其缺点是训练中不够稳定。为了解决这个问题,作者进一步提出IncReg算法。与SPP算法不同,IncReg是基于正则化的剪枝算法。IncReg以一种增量的方式来调节L2约束项前的系数。和SPP一样,IncReg也具有纠正参数重要性误判的情况,且比SPP的剪枝过程更加平滑。这对于剪掉大量参数和剪枝紧凑网络(如ResNet)的场景特别有用。IncReg最终获得了比SPP和其他众多本领域最优算法更好的结果。2.除了高级视觉任务上的模型压缩,本文还关注低级视觉,在这些领域CNN的实际应用也很大程度上被其复杂度所限制。具体来说,本文关注的是风格迁移任务。作者基于知识蒸馏提出了 StyleDistill算法来对VGG19网络的滤波器进行剪枝。配合风格化算法lNWCT,本文压缩完的模型尽管只有原模型的1/15.5大小,但仍具有同样甚至更优的风格迁移效果。更重要的是,基于该小模型,我们首次可以在12GB GPU上实现超高分辨率(超过4千万像素)的任意风格迁移。为了验证所提出的方法的通用性,本文还在照片风格迁移(基于PhotoWCT算法)和基于优化的风格迁移(基于Gatys算法)场景下评估了压缩后的模型,依然取得令人鼓舞的效果。
【图文】：

尽管这些改进取得了令人鼓舞的结果，但还有一项指标却少有人关注，即分辨率。对于逡逑低级视觉任务，能处理的图片的分辨率大小在实际应用中十分关键。而对于风格迁移，如逡逑图１．３所示，目前绝大多数方法只是在低分辨率图片（如１０２４ｘ邋１０２４）上报告结果［３；９５；９６】，少逡逑数在高清图上（如３０００邋ｘ邋３０００）１＂】，还没有文章可以直接５在超高清图上进行风格迁移。这逡逑其中，阻碍分辨率提升的主要因素是用来提取特征的ＣＮＮ滤波器个数较多，分辨率提升逡逑会导致产生的特征图较大，而ＧＰＵ显存有限，，这就限制了输入分辨率。本文的目标则是逡逑通过减少ＣＮＮ滤波器的个数，从而可以让网络可以处理更大分辨率的图片。如图１．３所示，逡逑我们的目标是可以对超高清图（如１０２４０邋ｘ邋４０９６）进行任意风格转换。逡逑１．４邋所提出的方法：ＳＰＰ，邋ＩｎｃＲｅｇ，邋ＳｔｙｌｅＤｉｓｔｉｌｌ逡逑这一部分将介绍本论文中提出的三种方法：结构化概率剪枝（Ｓｔｒｕｃｔｕｒｅｄ邋Ｐｒｏｂａｂｉｌｉｓｔｉｃ逡逑Ｐｒｕｎｉｎｇ，邋ＳＰＰ）、增量正则化（Ｉｎｃｒｅｍｅｎｔａｌ邋Ｒｅｇｕｌａｒｉｚａｔｉｏｎ，邋ＩｎｃＲｅｇ）、风格蒸饱（Ｓｔｙｌｅ逡逑Ｄｉｓｔｉｌｌａｔｉｏｎ，邋ＳｔｙｌｅＤｉｓｔｉｌｌ）。前两种方法针对高级视觉任务中的分类问题，第三种针对低级

逦（ｂ）邋ｓｈａｐｅ邋ｓｐａｒｓｉｔｙ／ｃｏｌｕｍｎ邋ｓｐａｒｓｉｔｙ逦（ｃ）邋ｃｈａｎｎｅｌ邋ｓｐａｒｓｉｔｙ逡逑图２．１稀疏性结构示意图逡逑参数组成的一个向量，在某些文章中也被称为ｓｈａｐｅ－ｗｉｓｅ邋ｓｐａｒｓｉｔｙ＿邋；通道（Ｃｈａｎｎｅｌ）是逡逑在展开成矩阵时会变成在特定位置连续的很多列，因此它可以认为是列的特殊情况。把权逡逑重的一些通道置零后，输入的相应通道也就失效了，而该层输入的通道是由上一层参数的逡逑滤波器得到，因此存在这样的关系：对ｉ层的权重进行通道剪枝，相当于对ｉ一邋１层的权重逡逑进行行剪枝。所以行剪枝、滤波器剪枝、通道剪枝其实是同一个概念，都是产生行稀疏性。逡逑那么综合来说，就是两种稀疏性结构：行、列。本文研究基于Ｉｍ２ｃｏｌ方式的结构化稀疏方逡逑法，因此将探索行稀疏与列稀疏之间的区别，从而选择相对较优的稀疏性结构。逡逑２．２．２各层冗余度岕逡逑神经网络各层容量及其冗余度的衡量问题目前仍没有公认的理论解释。目前常用的方逡逑法是在剪枝开始之前对各层冗余度进行估计
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP183

【相似文献】

相关期刊论文 前10条

1 吴立德;;计算机视觉研究进入攻关阶段[J];国际学术动态;1996年04期

2 张承进;;第9届国际控制、自动化、机器人与计算机视觉会议[J];国际学术动态;2007年06期

3 莫洪武;万荣泽;;计算机视觉在水稻大面积制种中的应用研究[J];农机化研究;2019年03期

4 郭吉楠;;微课在计算机视觉课中的应用探究[J];中国新通信;2018年23期

5 王一帏;;深度学习分类网络研究及其在计算机视觉中的应用[J];通讯世界;2019年03期

6 徐可源;;感知世界 洞察未来——2018年计算机视觉行业回顾与展望[J];中国城市金融;2019年02期

7 黄荣喜;;基于计算机视觉的玉米田间除草系统开发[J];农机化研究;2018年03期

8 刘梅;;基于计算机视觉的玉米种子形态识别测量[J];农机化研究;2018年04期

9 钱永涛;;基于计算机视觉的小麦长势监控研究[J];农机化研究;2018年04期

10 王彦辉;赵培琨;边东良;;基于计算机视觉的瓜果采摘系统的运用研究[J];农机化研究;2018年01期

相关会议论文 前10条

1 ;中国计算机视觉行业研究报告[A];艾瑞咨询系列研究报告（2017年第12期）[C];2017年

2 方漪;乔甜;;基于OpenGL的计算机视觉成像技术分析[A];中国几何设计与计算新进展2007——第三届中国几何设计与计算大会论文集[C];2007年

3 宋小华;欧阳丹彤;;时空推理在计算机视觉的应用[A];2006年全国理论计算机科学学术年会论文集[C];2006年

4 周红;刘光蓉;;计算机视觉及其在谷物籽粒检测分级中的应用[A];中国粮油学会第三届学术年会论文选集（下册）[C];2004年

5 管宇杰;;人工智能的眼睛——计算机视觉[A];2017智能电网新技术发展与应用研讨会论文集[C];2017年

6 郑群;邸铮;;计算机视觉法在测量金属铸造表面粗糙度的应用研究[A];2017冶金企业管理创新论坛论文集[C];2017年

7 熊凌;;计算机视觉中的图像匹配综述[A];湖北省机械工程学会设计与传动专业委员会第十四届学术年会论文集[C];2006年

8 王平凯;岳晓峰;韩立强;;灌装桶口计算机视觉定位系统的研究[A];增强自主创新能力 促进吉林经济发展——启明杯·吉林省第四届科学技术学术年会论文集（上册）[C];2006年

9 熊凌;;计算机视觉中的图像匹配综述[A];12省区市机械工程学会2006年学术年会湖北省论文集[C];2006年

10 赵荣椿;;体视学、体视化与计算机视觉[A];面向21世纪的科技进步与社会经济发展（上册）[C];1999年

相关重要报纸文章 前10条

1 记者 郑金武;国际计算机视觉算法竞赛揭晓[N];科学时报;2011年

2 宋琪;中科院自动化所在国际计算机视觉算法竞赛中获优异成绩[N];科学时报;2011年

3 本报记者 吕红星;2020年中国计算机视觉行业市场规模将达725亿元[N];中国经济时报;2017年

4 王茜 赛迪智库电子信息产业研究所;巨头抢滩计算机视觉入口，中国该做什么？[N];通信产业报;2017年

5 斯坦福大学教授、谷歌云首席科学家 李飞飞;计算机视觉要多久才能理解这个世界[N];中国信息化周报;2018年

6 谢静;我国计算机视觉应用市场规模达15.45亿元[N];人民邮电;2018年

7 本报记者 冯娜娜;计算机视觉助力农险查勘降低成本[N];中国保险报;2018年

8 本报记者 倪雨晴;计算机视觉应用遍地开花 “护城河”如何建立？[N];21世纪经济报道;2018年

9 记者 段倩倩;腾讯优图升级 强化计算机视觉研发投入[N];第一财经日报;2018年

10 本报记者 游寰臻;2016年人工智能升温 巨头争相押注欲引爆未来市场[N];通信信息报;2016年

相关博士学位论文 前10条

1 于祥春;机器学习在计算机视觉和癌症生物信息学中的若干关键问题研究[D];吉林大学;2019年

2 徐伟;小样本计算机视觉问题的研究[D];上海交通大学;2018年

3 郭聪;基于关注度机制的图像理解[D];中国科学技术大学;2018年

4 顾钦;移动变尺度目标检测与跟踪算法研究[D];电子科技大学;2018年

5 李伟;基于计算机视觉的播种精度检测技术研究[D];中国农业大学;2004年

6 伍雪冬;计算机视觉中摄像机定标及位姿和运动估计方法的研究[D];湖南大学;2005年

7 杨述平;基于计算机视觉的三维测试技术研究[D];中北大学;2005年

8 段发阶;计算机视觉检测基础理论及应用技术研究[D];天津大学;1994年

9 赵书涛;基于计算机视觉的直读仪表校验方法研究[D];华北电力大学（河北）;2006年

10 孔明;颗粒粒径和形态计算机视觉测量方法研究[D];东南大学;2005年

相关硕士学位论文 前10条

1 赵雪云;基于深度学习的行人检测技术研究[D];华北电力大学;2019年

2 姜映舟;基于计算机视觉的测距技术研究[D];桂林电子科技大学;2019年

3 王欢;计算机视觉中的深度模型压缩[D];浙江大学;2019年

4 沈俊凯;基于计算机视觉的混凝土裂缝检测算法研究[D];中国地震局工程力学研究所;2019年

5 赵晓阳;基于计算机视觉的建筑工程结构构件影像识别模式研究[D];华北电力大学(北京);2019年

6 陈燕锋;卷积网络在视频目标跟踪问题中的应用[D];上海交通大学;2018年

7 巩晓云;计算机视觉在药品包装检测中的应用[D];哈尔滨理工大学;2019年

8 曾泽宇;基于计算机视觉的枸杞分级方法研究[D];兰州理工大学;2019年

9 赵凯;基于深度学习的暴恐视频识别关键技术研究[D];北京邮电大学;2019年

10 王华东;融合目标先验知识的目标跟踪策略研究[D];内蒙古大学;2019年

本文编号：2676652