深度学习模型压缩方法在竹种分类中的应用研究

发布时间：2021-06-19 21:21

　　本文提出了一种基于深度学习模型压缩的竹种分类方法,旨在将压缩后的模型移植到手机端进行竹种自动分类.首先动态设置阈值删除已经训练的竹种分类模型中不重要权重,迭代剪枝与再训练同时进行.再通过K-Means++聚类算法对神经网络各层的权值聚类,从而实现权值共享,最后再经过量化模型的参数值压缩神经网络模型.实验结果表明:剪枝后的模型相较剪枝前的模型内存占用降低了46.4%.剪枝后模型进行量化后模型压缩了75%.压缩后的模型整体运行速度提升,其中基于AlexNet网络结构相较于VGGNet-16的竹种分类模型压缩后可更好应用到移动端,为离线状态下基于移动端进行分类提供支撑. 

【文章来源】：复旦学报(自然科学版). 2020,59(06)北大核心CSCD

【文章页数】：8 页

【部分图文】：

基于VGGNet-16深度竹种网络结构

本文通过动态设置阈值的方法，避免在某些卷积层不必要的阈值保留．标识为true的权值即为之前剪枝过程中被剪除的，在重新训练的过程中，这一部分权值不会随着训练而更新，这样，其他权值可以继续得到训练，而模型依然保持剪枝的稀疏性．剪除对神经网络模型影响较小的权值，从而降低模型中的不重要权值，减少模型存储的容量，提高竹种分类模型的运行效率．通过实验表明，权值的减少会带来竹种分类精度的减低．本文试验通过掩膜矩阵的方式实现了剪枝模型的重新学习，对于每一个被修剪的层，在被剪枝的层中，会加入一个二元掩码矩阵，该矩阵是和此层权重大小形状相同．该矩阵的作用是标志该位置的权值在之前的剪枝过程中是否被剪除，该矩阵的内容随之前的剪枝过程而保存．图2是掩膜矩阵的原理图．在重新训练的过程中，权值会按照绝对值大小排列，在训练过程中通过将掩码置0来达到期望的稀疏度．掩码置0的权值会被剪除，不会随着训练更新．M没有被剪除的权重继续训练，剪枝和训练同时进行．可以保存竹种分类剪枝模型的稀疏性．指定好稀疏度后，下一步是阈值的设定．在剪枝过程中阈值是动态变化的，可自动设置剪枝从哪一步开始到哪一步结束，并且可设置多少步剪一次即剪枝频率．本文在不断试验中，得到初始稀疏度为0.5到最终稀疏度0.9，从开始步数到结束步数剪枝，且每100步剪枝效果相对最好．公式（7）是结束步数计算公式．

训练竹种图像数据分类实验中，采用Python编程，Python是一种简单易懂，功能强大的脚本编程语言[19]．在实验室服务器上运行．服务器硬件环境为Intel(R)Xeon(R)CPU E5-2630v4@2.20GHz,128G内存，两张16G显存，使用VGGNet-16网络结构和AlexNet网络结构进行训练．本实验中竹种图像数据集来源于徽省宣城市广德县横山国家森林公园，共计9类竹种（图3）．为了使分类结果更具有普遍性，本实验的竹种图片采取各种角度拍摄，竹种高矮，粗细，竹竿大小，竹叶纹理，距离远近皆有，每种拍摄40张．对40张原图片进行旋转、平移、错切变换、放大、翻转5种增强操作以增加竹种样本的多样性，这样每张原图片扩充为14张，加上原图一共15张。增强后的数据集中训练集有图片3 780张，测试集有图片1 620张。3.2 模型训练与压缩分析

【参考文献】：
期刊论文
[1]一种优化的SVM竹类属种识别方法[J]. 李欣,许高建,李绍稳.  重庆科技学院学报(自然科学版). 2017(05)
[2]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军.  计算机学报. 2017(06)
[3]深度学习研究综述[J]. 孙志军,薛磊,许阳明,王正.  计算机应用研究. 2012(08)
[4]我国竹类研究展望和竹林生境利用[J]. 傅懋毅,杨校生.  竹子研究汇刊. 2003(02)
[5]《中国植物志》九卷一分册（禾本科－竹亚科）编后记[J]. 耿伯介,王正平.  竹子研究汇刊. 1996(01)

硕士论文
[1]深度神经网络压缩与优化研究[D]. 王征韬.电子科技大学 2017



本文编号：3238564