基于迁移学习的林业业务图像识别
发布时间：2021-03-27 18:02
【目的】林业业务图像的识别分类有利于林业管理部门对相关事件作出合理的处置方案及指挥调度决策,从而充分发挥护林员的作用,提升森林管护的水平,达到保护森林资源和生态安全的目的。【方法】提出了一种针对林业业务图像基于迁移学习的卷积神经网络（convolutional neural networks）自动分类模型。在经过大规模辅助图像数据集ImageNet预训练的4种卷积神经网络模型的基础上,使用林业业务图像数据对训练好的模型进行迁移学习,采用新的全连接层取代原始的全连接层,其他层参数保持不变。【结果】在建立的4个类别林业业务图像数据集上,4个预训练卷积神经网络结构的迁移学习模型都具有较高的分类正确率。其中,基于Inception-v3的迁移学习模型识别精度最高,达到96.4%。【结论】利用基于Inception-v3的迁移学习模型进行林业业务图像分类是可行的。相比传统的特征提取识别方法以及其他预训练模型,Inception-v3模型具有很强的分类能力,可以在森林管护中发挥更广泛的应用。
【文章来源】：南京林业大学学报(自然科学版). 2020,44(04)北大核心CSCD
【文章页数】：7 页
【部分图文】：
Inception模块
实验中的模型结构编写以及训练测试均通过深度学习框架TensorFlow实现。本研究采用的迁移学习方法分为两步：第1步，用去掉最后一层全连接层的预训练模型对所有图片提取特征值，实现参数迁移，把所有图片对应的特征值存储在硬盘中，这些特征值将作为后续训练的输入；第2步，构造一个新的浅层网络，本次采用一层全连接层，使用第1步得到的特征值输入新的网络，不断训练这个网络，直至模型收敛。基于迁移学习的林业业务图像分类模型训练过程见图2。新的全连接层的初始化分布采用均值为0、方差为0.001的截断正态分布，该部分产生的随机数与均值的差距不会超过两倍的标准差。至于剩余的池化层和卷积层等则保留其原来的参数，且不参与接下来的训练。所有模型训练的步数均为6 000，都采用10折交叉验证法得出准确率，初始的学习率设置为0.01。采用Adam优化算法[26]对模型进行训练，Adam优化算法是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam算法和传统的随机梯度下降[26]不同，随机梯度下降保持单一的学习率更新所有的权重，学习率在训练过程中并不会改变；而Adam通过计算梯度的一阶矩估计和二阶矩估计为不同的参数设计独立的自适应性学习率。1.4 数据增强
分别对4种预训练模型进行迁移学习，测试准确率曲线如图3所示，可以看出Inception-v3测试准确率最高，Inception-v1略高于Inception-v2,VGG-16最低。观察Inception-v3测试准确率曲线，700步左右时，其测试准确率就达到峰值（96.4%），之后测试准确率回落至95.6%左右，到达4 000步左右才基本平稳不变，4 000步之前测试准确率出现比较频繁的波动现象，产生这种现象的原因有两方面：一是基于训练数据计算的梯度值可能使每一次参数的优化方向只是朝局部最优解进行，而局部最优解有时和全局最优解相差甚远，产生测试准确率的上下波动；二是由于学习率比较大，使得梯度值过大，在模型测试准确率接近极值的时候，反而跨过极值，在极值附近反复震荡。2.2 测试准确率和单位推断时间分析
【参考文献】：
期刊论文
[1]基于深度学习的树种图像自动识别[J]. 刘嘉政,王雪峰,王甜. 南京林业大学学报(自然科学版). 2020(01)
[2]基于改进深度卷积神经网络的苹果病害识别[J]. 张善文,张晴晴,李萍. 林业工程学报. 2019(04)
[3]基于迁移学习的树种识别[J]. 高旋,赵亚凤,熊强,陈喆. 森林工程. 2019(05)
[4]深度卷积神经网络在迁移学习模式下的SAR目标识别[J]. 李松,魏中浩,张冰尘,洪文. 中国科学院大学学报. 2018(01)
[5]大连市护林员队伍体系建设措施及建议[J]. 张罡. 现代农业科技. 2018(01)
[6]基于迁移学习的水产动物图像识别方法[J]. 王柯力,袁红春. 计算机应用. 2018(05)
[7]森林管护措施及造林工作探析[J]. 李维刚. 黑龙江科学. 2017(24)
[8]基于词袋模型的林业业务图像分类[J]. 张广群,李英杰,汪杭军. 浙江农林大学学报. 2017(05)
[9]基于北斗位置服务的森林管护及系统研发[J]. 胡鸿,杨雪清,吴东亮. 中南林业科技大学学报. 2017(09)
[10]遥感图像飞机目标分类的卷积神经网络方法[J]. 周敏,史振威,丁火平. 中国图象图形学报. 2017(05)
本文编号：3103950
【文章来源】：南京林业大学学报(自然科学版). 2020,44(04)北大核心CSCD
【文章页数】：7 页
【部分图文】：
Inception模块
实验中的模型结构编写以及训练测试均通过深度学习框架TensorFlow实现。本研究采用的迁移学习方法分为两步：第1步，用去掉最后一层全连接层的预训练模型对所有图片提取特征值，实现参数迁移，把所有图片对应的特征值存储在硬盘中，这些特征值将作为后续训练的输入；第2步，构造一个新的浅层网络，本次采用一层全连接层，使用第1步得到的特征值输入新的网络，不断训练这个网络，直至模型收敛。基于迁移学习的林业业务图像分类模型训练过程见图2。新的全连接层的初始化分布采用均值为0、方差为0.001的截断正态分布，该部分产生的随机数与均值的差距不会超过两倍的标准差。至于剩余的池化层和卷积层等则保留其原来的参数，且不参与接下来的训练。所有模型训练的步数均为6 000，都采用10折交叉验证法得出准确率，初始的学习率设置为0.01。采用Adam优化算法[26]对模型进行训练，Adam优化算法是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam算法和传统的随机梯度下降[26]不同，随机梯度下降保持单一的学习率更新所有的权重，学习率在训练过程中并不会改变；而Adam通过计算梯度的一阶矩估计和二阶矩估计为不同的参数设计独立的自适应性学习率。1.4 数据增强
分别对4种预训练模型进行迁移学习，测试准确率曲线如图3所示，可以看出Inception-v3测试准确率最高，Inception-v1略高于Inception-v2,VGG-16最低。观察Inception-v3测试准确率曲线，700步左右时，其测试准确率就达到峰值（96.4%），之后测试准确率回落至95.6%左右，到达4 000步左右才基本平稳不变，4 000步之前测试准确率出现比较频繁的波动现象，产生这种现象的原因有两方面：一是基于训练数据计算的梯度值可能使每一次参数的优化方向只是朝局部最优解进行，而局部最优解有时和全局最优解相差甚远，产生测试准确率的上下波动；二是由于学习率比较大，使得梯度值过大，在模型测试准确率接近极值的时候，反而跨过极值，在极值附近反复震荡。2.2 测试准确率和单位推断时间分析
【参考文献】：
期刊论文
[1]基于深度学习的树种图像自动识别[J]. 刘嘉政,王雪峰,王甜. 南京林业大学学报(自然科学版). 2020(01)
[2]基于改进深度卷积神经网络的苹果病害识别[J]. 张善文,张晴晴,李萍. 林业工程学报. 2019(04)
[3]基于迁移学习的树种识别[J]. 高旋,赵亚凤,熊强,陈喆. 森林工程. 2019(05)
[4]深度卷积神经网络在迁移学习模式下的SAR目标识别[J]. 李松,魏中浩,张冰尘,洪文. 中国科学院大学学报. 2018(01)
[5]大连市护林员队伍体系建设措施及建议[J]. 张罡. 现代农业科技. 2018(01)
[6]基于迁移学习的水产动物图像识别方法[J]. 王柯力,袁红春. 计算机应用. 2018(05)
[7]森林管护措施及造林工作探析[J]. 李维刚. 黑龙江科学. 2017(24)
[8]基于词袋模型的林业业务图像分类[J]. 张广群,李英杰,汪杭军. 浙江农林大学学报. 2017(05)
[9]基于北斗位置服务的森林管护及系统研发[J]. 胡鸿,杨雪清,吴东亮. 中南林业科技大学学报. 2017(09)
[10]遥感图像飞机目标分类的卷积神经网络方法[J]. 周敏,史振威,丁火平. 中国图象图形学报. 2017(05)
本文编号：3103950
本文链接：https://www.wllwen.com/nykjlw/lylw/3103950.html
