面向神经网络的无损压缩技术研究

发布时间：2020-05-14 07:00

【摘要】：深度神经网络的计算是一种计算、存储密集型任务。网络模型压缩因可降低其计算所需的能耗、内存、带宽,而成为了研究的热点。目前模型压缩的主要关注点集中在剪枝量化上。而本文探索了另一个视角——在剪枝量化基础上,如何选择合适的无损压缩和稀疏矩阵存储算法以达到更好的压缩效果。本文构建了一个模型压缩评估框架,框架具有可扩展性,只需要按照一定输入输出规则准备好待测试算法和测试用数据,即可自动完成待测算法针对指定数据的压缩率测试。本文列举了通用的无损压缩算法和稀疏矩阵存储算法,并分析了优缺点,在其基础上选择出6种待测试算法,形成36种算法组合,使用评估框架,在剪枝量化后的Resnet18和Mobilenet模型上进行了测试。发现针对细粒度剪枝,熵编码的压缩率最高,但两种熵编码组合较单一熵编码带来的提升微弱。而在稀疏矩阵存储算法中,bitmap取得不错的压缩比,且运算复杂度远远低于熵编码。本文进一步对两个模型的参数进行差分(相邻参数间求差值),发现模型稀疏度大幅上升。在其他条件未变的情况下,差分可为压缩率带来1.3倍以上增幅,这证明了模型内有可利用的数据结构。相比于神经网络加速器中常用的压缩算法CSC,使用差分+bitmap算法可提供1.5倍以上压缩率增幅,而稍复杂的差分+Huffman可提供1.7倍以上增幅,可大大降低模型的传输带宽和存储空间需求。
【图文】：

１６ｂｉｔ定点表示对ＣＮＮ进行训练，以较小的精度损失，大大减少了内存的使用和逡逑浮点运算量。逡逑［４］提出“ｄｅｅｐ邋ｃｏｍｐｒｅｓｓｉｏｎ”压缩方法，分三步压缩网络模型。如图１所示，逡逑它从学习连接性开始，通过正常的网络训练，获得各个网络连接的重要性，再进逡逑行剪技，去除非重要连接；随后对网络进行量化，进一步压缩网络。在这两步过逡逑后，对网络模型进行ｒｅｔｒａｉｎ，使网络在保留的稀疏连接和量化权重上有更好的精逡逑度表现。最后一步，使用霍夫曼编码对网络模型进一步压缩。这份工作在所有基逡逑于量化的压缩工作中取得了领先的压缩比。＠表示Ｈｅｓｓｉａｎ邋ｗｅｉｇｈｔ可以用来衡量逡逑网络参数重要性，并提出了以最小化平均Ｈｅｓｓｉａｎ邋ｗｅｉｇｈｔ量化误差为目标，对网逡逑络参数进行聚类。逡逑Ｑｕａｎｔｉｚａｔｉｏｎ：邋ｌｅｓｓ邋ｂｉｔｓ邋ｐｅｒ邋ｗｅｉｇｈｔ逡逑Ｐｒｕｎｉｎｇ：邋Ｉｅｓ９邋ｎｕｍｂｅｒ邋ｏｆ邋ｗｅｉｇｈｔｓ逦，逦■、逦Ｈｕｆｆｍａｎ邋Ｅｎｃｏｄｉｎｑ逡逑＾逦、逦／逦Ｎｘ逡逑、、逦Ｉ邋Ｃｌｕｓｔｅｒ邋ｔｈｅ邋Ｗｅｉｇｈｔｓ邋ｉ逦，逦、、逡逑１邋丁ｒａｉｎ邋Ｃｏｎｎｅｃｔｉｖｉｔｙ邋！逦ｉ逦？０＞逦ｉ逦ｉ邋ｆｌ邋．邋．．．邋．邋．邋４逦

１６ｂｉｔ定点表示对ＣＮＮ进行训练，以较小的精度损失，，大大减少了内存的使用和逡逑浮点运算量。逡逑［４］提出“ｄｅｅｐ邋ｃｏｍｐｒｅｓｓｉｏｎ”压缩方法，分三步压缩网络模型。如图１所示，逡逑它从学习连接性开始，通过正常的网络训练，获得各个网络连接的重要性，再进逡逑行剪技，去除非重要连接；随后对网络进行量化，进一步压缩网络。在这两步过逡逑后，对网络模型进行ｒｅｔｒａｉｎ，使网络在保留的稀疏连接和量化权重上有更好的精逡逑度表现。最后一步，使用霍夫曼编码对网络模型进一步压缩。这份工作在所有基逡逑于量化的压缩工作中取得了领先的压缩比。＠表示Ｈｅｓｓｉａｎ邋ｗｅｉｇｈｔ可以用来衡量逡逑网络参数重要性，并提出了以最小化平均Ｈｅｓｓｉａｎ邋ｗｅｉｇｈｔ量化误差为目标，对网逡逑络参数进行聚类。逡逑Ｑｕａｎｔｉｚａｔｉｏｎ：邋ｌｅｓｓ邋ｂｉｔｓ邋ｐｅｒ邋ｗｅｉｇｈｔ逡逑Ｐｒｕｎｉｎｇ：邋Ｉｅｓ９邋ｎｕｍｂｅｒ邋ｏｆ邋ｗｅｉｇｈｔｓ逦，逦■、逦Ｈｕｆｆｍａｎ邋Ｅｎｃｏｄｉｎｑ逡逑＾逦、逦／逦Ｎｘ逡逑、、逦Ｉ邋Ｃｌｕｓｔｅｒ邋ｔｈｅ邋Ｗｅｉｇｈｔｓ邋ｉ逦，逦、、逡逑１邋丁ｒａｉｎ邋Ｃｏｎｎｅｃｔｉｖｉｔｙ邋！逦ｉ逦？０＞逦ｉ逦ｉ邋ｆｌ邋．邋．．．邋．邋．邋４逦
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP183;TP333

【相似文献】

相关期刊论文 前10条

1 佟飞;;大数据时代图片无损压缩技术在摄影本科中的教学中的应用[J];同行;2016年13期

2 尹维汉;孟令军;龚敬;严帅;;高速无损压缩的FPGA实现方法研究[J];电视技术;2012年21期

3 陈杨;;无损压缩技术和宽频带换能器[J];实用影音技术;2008年01期

4 毋清明;;迎战!无损压缩挑战极限![J];电脑爱好者;2006年11期

5 王缔罡;赵晓群;张扬;徐静云;;无损压缩文件的参数特性分析[J];燕山大学学报;2017年01期

6 黄志聪;张长虹;王栓武;;医学图像的无损压缩[J];中国医疗设备;2008年09期

7 李龙;周顽;;数字图像无损压缩[J];软件导刊;2007年07期

8 王武进;;一种二值图像无损压缩方法[J];电脑开发与应用;2006年02期

9 李平,李伟光;医学图像视觉无损压缩的研究[J];长春理工大学学报;2005年03期

10 杨胜天,童勤业;生物医学信号的近无损压缩[J];中国生物医学工程学报;2003年03期

相关会议论文 前10条

1 陈虹;宋磊;吴国清;;大规模数值模拟数据的无损压缩[A];中国工程物理研究院科技年报（2005）[C];2005年

2 刘喜成;李声沛;;基于前向神经网络的静止图象自适应预测无损压缩编码[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集（下册）[C];1995年

3 魏歌;;无损压缩编码方法中的关联性研究[A];全国第20届计算机技术与应用学术会议（CACIS·2009）暨全国第1届安全关键技术与应用学术会议论文集（上册）[C];2009年

4 万建邦;林小竹;;有损行程编码方法研究[A];第二届全国信息获取与处理学术会议论文集[C];2004年

5 赵国毅;杨晓春;王斌;;面向相似数据的无损压缩技术[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年

6 蒋宏;潘登;刘荻;孙志明;刘尔梅;;哈尔滨医科大学第一临床医学院PACC系统一期工程总结[A];首届中国IT与医药卫生高层论坛论文集[C];2004年

7 况军;罗建书;黄志雄;;基于三维自适应预测的多光谱图像的无损压缩算法[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

8 李天伟;贾传荧;李春鑫;;用整数小波和非均匀移位算法实现ROI编码[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年

9 邓冰;林宗坚;彭晓东;;遥感图像信息度量的原理与方法[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年

10 孙蕾;罗建书;;基于分类预测的高光谱遥感图像无损压缩[A];第一届建立和谐人机环境联合学术会议（HHME2005）论文集[C];2005年

相关重要报纸文章 前10条

1 湖南 古铜;无损压缩CD之APE[N];电脑报;2003年

2 通讯员聂小清;电话线就能当宽带用[N];科技日报;2002年

3 辽宁 张迪;APE到MP3一步到位[N];电脑报;2003年

4 鸣人;保存JPEG的两个秘密[N];中国摄影报;2010年

5 李剑峰;影音不分家，无损音频知多少?[N];电脑报;2014年

6 ;顶级MP3播放器挑战赛[N];中国计算机报;2005年

7 中国计算机报数字实验室 尚吉刚;顶级MP3播放器挑战赛[N];中国计算机报;2005年

8 湖南 古铜;APE到MP3轻松转换[N];电脑报;2003年

9 浙江 方位;关于4K超高清蓝光DVD开发的三点建议[N];电子报;2015年

10 湖南 古铜;玩转音乐[之CD刻录][N];电脑报;2004年

相关博士学位论文 前8条

1 武晓s

本文编号：2662994