果实采摘机器人视觉系统的研究与设计
发布时间：2021-11-20 21:49
中国是世界农业生产大国,采摘业是农业生产中的重要环节,每年需要大量人力在指定季节内快速集中采摘果实。随着我国农业从业人数的大幅下降和劳动力成本的上升,急需开展采摘机器人的研究,实现智能化采摘,其中果实目标的定位检测与分类识别的精度是至关重要的环节。因此,本文针对自然环境中的果实,开展了果实采摘机器人视觉系统的研究与设计,为实现高性能采摘机器人奠定基础。本文主要的研究工作及取得的研究成果如下:（1）针对果实采摘机器人视觉系统在农业采摘中的需求,构建了果实图像数据库,完成了果实目标定位与识别。首先研究了Faster R-CNN算法,用于果实目标的定位检测;然后针对卷积神经网络VGGNet算法的网络层数多、运算量大、运算时间长等不足,根据本文实际场景需求,提出了改进型VGGNet算法,使用Adam优化算法替代传统的随机梯度下降算法,用于更新网络的权值参数和自主调整学习速率,最终实现对果实目标的分类识别。（2）搭建了视觉系统的硬件平台和软件环境,并开展了室内模拟实验。在Keras框架下编写视觉系统程序,进行了5种果实的图像数据训练并生成模型。在PC端对视觉系统测试成功后,将程序移植到树莓派3b...
【文章来源】：长春理工大学吉林省
【文章页数】：62 页
【学位级别】：硕士
【部分图文】：
采摘机器人
第2章果实采摘机器人视觉系统的算法研究8方法1：平均值法平均值法是将彩色图像数据中的RGB三个分量的像素值进行平均，经计算得到一个灰度值，公式如下：Gray(j)()GjiRi(j)++=()(jiBi)3,,,,（2-2）方法2：最大值法对于彩色图像数据中的RGB三个分量，选择亮度的最大值作为灰度图的灰度值，公式如下：Gray(j)()GjiRi(j)++=(,,,max,){jiBi}（2-3）方法3：加权平均法加权平均法是一种最常用的灰度转换方法，人眼对自然环境中的绿色最为敏感，对蓝色敏感度最低，将三个分量以不同的权值进行加权平均能得到较合理的灰度图像，公式如下：Gray(j)()GjiRi(j)×+×+×=(,114.0,578.0,299.0,jiBi)（2-4）本文选用加权平均法对果实图像进行灰度转换，得到的果实图像灰度图效果最好，亮度较为明显。果实图像的灰度转换如图2.1所示，其中图（a）为数据库中的一张原始果实图像，该图像为RGB三通道彩色图像，使用加权平均法进行图像灰度化处理后，可得到该果实图像的灰度图，如图（b）所示，该果实图像的灰度图为单通道图像。（a）（b）图2.1果实图像的灰度转换（a）数据库中的果实图像；（b）果实图像灰度图（2）图像归一化当果实图像数据输入到卷积神经网络做样本训练之前，在图像预处理环节中还需要进行图像归一化处理，将其变换为固定标准形式，使图像数据在卷积神经网络中进
第2章果实采摘机器人视觉系统的算法研究10下来果实图像数据输入到卷积神经网络中进行训练做好了铺垫。图像归一化后有以下两个好处：（a）提升卷积神经网络模型在训练数据时的收敛速度；（b）提升卷积神经网络模型中分类器的准确性。如下图2.2所示，以数据集中的一张果实灰度图为例，采用min-max标准化的方法对其进行图像归一化处理。其中图（a）为原始的果实灰度图，图（b）为经归一化处理后的结果图。（a）（b）图2.2图像归一化处理（a）原始的果实灰度图；（b）归一化处理后的结果图（3）图像增强在图像预处理环节中，经常会用到ImageDataGenerator（）来进行图像增强，通过扩充数据集大小可以有效避免图像数据集输入到卷积神经网络中进行训练时发生过拟合现象。在本文使用的Keras框架中，采用Keras.preprocessing.imgae模块中的ImageDataGenerator（）作为本文搭建的卷积神经网络模型中的果实图像生成器，用于批量生成数据，并且可以反复调用该生成器，在每次训练时都给网络模型输入一个batch_size大小的样本数据，并能够通过对样本数据的增强变换来对数据进行扩充，能够避免网络训练时发生过拟合现象，增强网络模型的泛化能力。本文在对果实图像数据进行数据增强操作时，可以对图像进行旋转、位移、放大、缩小等变换操作。果实图像经此方法预处理后，将不会出现任何两张完全相同的图片，将有利于抑制训练过程中产生的过拟合现象，同时能够使模型的泛化能力得到增强。不过需要注意以下几点：（1）flow（）函数将会返回一个生成器。这个生成器用来扩充数据集大小，每次都会产生batch_size个样本。例如：导入了一张图像，因此每次生成的图像都是基于这张图像而产生的，可以看到结果中，旋转、位移、放大、缩小等，统统都有；（
【参考文献】：
期刊论文
[1]苹果采摘机器人控制系统设计[J]. 王琪,丁柏文,陈萍. 机械制造与自动化. 2019(05)
[2]自然环境下柑橘采摘机器人识别定位系统研究[J]. 杨长辉,刘艳平,王毅,熊龙烨,许洪斌,赵万华. 农业机械学报. 2019(12)
[3]自然场景下葡萄定位方法的研究[J]. 胡洋洋,马本学,李小霞. 新疆农机化. 2018(04)
[4]中国水果产业供给侧改革与发展趋势[J]. 邓秀新. 现代农业装备. 2018(04)
[5]基于猕猴桃果萼图像的多目标果实识别方法[J]. 陈礼鹏,穆龙涛,刘浩洲,谷新运,傅隆生,崔永杰. 计算机工程与设计. 2018(06)
[6]基于卷积神经网络的菊花花型和品种识别[J]. 袁培森,黎薇,任守纲,徐焕良. 农业工程学报. 2018(05)
[7]基于改进卷积神经网络的多种植物叶片病害识别[J]. 孙俊,谭文军,毛罕平,武小红,陈勇,汪龙. 农业工程学报. 2017(19)
[8]基于深度卷积神经网络的番茄主要器官分类识别方法[J]. 周云成,许童羽,郑伟,邓寒冰. 农业工程学报. 2017(15)
[9]夜间自然环境下荔枝采摘机器人识别技术[J]. 熊俊涛,林睿,刘振,何志良,杨振刚,卜榕彬. 农业机械学报. 2017(11)
[10]非结构环境中扰动葡萄采摘点的视觉定位技术[J]. 熊俊涛,何志良,汤林越,林睿,刘振. 农业机械学报. 2017(04)
硕士论文
[1]基于CNN的手骨异常检测研究与系统实现[D]. 潘雪峰.东北师范大学 2019
[2]基于卷积神经网络的体液细胞显微图像识别方法研究[D]. 闫妍.湘潭大学 2018
[3]基于卷积神经网络和机器视觉的辣椒检测与识别[D]. 丁文宽.天津理工大学 2017
[4]基于深度学习的水果图像识别算法研究[D]. 王前程.河北大学 2016
[5]苹果采摘机器人重叠果实快速动态识别及定位研究[D]. 沈甜.江苏大学 2016
本文编号：3508150
【文章来源】：长春理工大学吉林省
【文章页数】：62 页
【学位级别】：硕士
【部分图文】：
采摘机器人
第2章果实采摘机器人视觉系统的算法研究8方法1：平均值法平均值法是将彩色图像数据中的RGB三个分量的像素值进行平均，经计算得到一个灰度值，公式如下：Gray(j)()GjiRi(j)++=()(jiBi)3,,,,（2-2）方法2：最大值法对于彩色图像数据中的RGB三个分量，选择亮度的最大值作为灰度图的灰度值，公式如下：Gray(j)()GjiRi(j)++=(,,,max,){jiBi}（2-3）方法3：加权平均法加权平均法是一种最常用的灰度转换方法，人眼对自然环境中的绿色最为敏感，对蓝色敏感度最低，将三个分量以不同的权值进行加权平均能得到较合理的灰度图像，公式如下：Gray(j)()GjiRi(j)×+×+×=(,114.0,578.0,299.0,jiBi)（2-4）本文选用加权平均法对果实图像进行灰度转换，得到的果实图像灰度图效果最好，亮度较为明显。果实图像的灰度转换如图2.1所示，其中图（a）为数据库中的一张原始果实图像，该图像为RGB三通道彩色图像，使用加权平均法进行图像灰度化处理后，可得到该果实图像的灰度图，如图（b）所示，该果实图像的灰度图为单通道图像。（a）（b）图2.1果实图像的灰度转换（a）数据库中的果实图像；（b）果实图像灰度图（2）图像归一化当果实图像数据输入到卷积神经网络做样本训练之前，在图像预处理环节中还需要进行图像归一化处理，将其变换为固定标准形式，使图像数据在卷积神经网络中进
第2章果实采摘机器人视觉系统的算法研究10下来果实图像数据输入到卷积神经网络中进行训练做好了铺垫。图像归一化后有以下两个好处：（a）提升卷积神经网络模型在训练数据时的收敛速度；（b）提升卷积神经网络模型中分类器的准确性。如下图2.2所示，以数据集中的一张果实灰度图为例，采用min-max标准化的方法对其进行图像归一化处理。其中图（a）为原始的果实灰度图，图（b）为经归一化处理后的结果图。（a）（b）图2.2图像归一化处理（a）原始的果实灰度图；（b）归一化处理后的结果图（3）图像增强在图像预处理环节中，经常会用到ImageDataGenerator（）来进行图像增强，通过扩充数据集大小可以有效避免图像数据集输入到卷积神经网络中进行训练时发生过拟合现象。在本文使用的Keras框架中，采用Keras.preprocessing.imgae模块中的ImageDataGenerator（）作为本文搭建的卷积神经网络模型中的果实图像生成器，用于批量生成数据，并且可以反复调用该生成器，在每次训练时都给网络模型输入一个batch_size大小的样本数据，并能够通过对样本数据的增强变换来对数据进行扩充，能够避免网络训练时发生过拟合现象，增强网络模型的泛化能力。本文在对果实图像数据进行数据增强操作时，可以对图像进行旋转、位移、放大、缩小等变换操作。果实图像经此方法预处理后，将不会出现任何两张完全相同的图片，将有利于抑制训练过程中产生的过拟合现象，同时能够使模型的泛化能力得到增强。不过需要注意以下几点：（1）flow（）函数将会返回一个生成器。这个生成器用来扩充数据集大小，每次都会产生batch_size个样本。例如：导入了一张图像，因此每次生成的图像都是基于这张图像而产生的，可以看到结果中，旋转、位移、放大、缩小等，统统都有；（
【参考文献】：
期刊论文
[1]苹果采摘机器人控制系统设计[J]. 王琪,丁柏文,陈萍. 机械制造与自动化. 2019(05)
[2]自然环境下柑橘采摘机器人识别定位系统研究[J]. 杨长辉,刘艳平,王毅,熊龙烨,许洪斌,赵万华. 农业机械学报. 2019(12)
[3]自然场景下葡萄定位方法的研究[J]. 胡洋洋,马本学,李小霞. 新疆农机化. 2018(04)
[4]中国水果产业供给侧改革与发展趋势[J]. 邓秀新. 现代农业装备. 2018(04)
[5]基于猕猴桃果萼图像的多目标果实识别方法[J]. 陈礼鹏,穆龙涛,刘浩洲,谷新运,傅隆生,崔永杰. 计算机工程与设计. 2018(06)
[6]基于卷积神经网络的菊花花型和品种识别[J]. 袁培森,黎薇,任守纲,徐焕良. 农业工程学报. 2018(05)
[7]基于改进卷积神经网络的多种植物叶片病害识别[J]. 孙俊,谭文军,毛罕平,武小红,陈勇,汪龙. 农业工程学报. 2017(19)
[8]基于深度卷积神经网络的番茄主要器官分类识别方法[J]. 周云成,许童羽,郑伟,邓寒冰. 农业工程学报. 2017(15)
[9]夜间自然环境下荔枝采摘机器人识别技术[J]. 熊俊涛,林睿,刘振,何志良,杨振刚,卜榕彬. 农业机械学报. 2017(11)
[10]非结构环境中扰动葡萄采摘点的视觉定位技术[J]. 熊俊涛,何志良,汤林越,林睿,刘振. 农业机械学报. 2017(04)
硕士论文
[1]基于CNN的手骨异常检测研究与系统实现[D]. 潘雪峰.东北师范大学 2019
[2]基于卷积神经网络的体液细胞显微图像识别方法研究[D]. 闫妍.湘潭大学 2018
[3]基于卷积神经网络和机器视觉的辣椒检测与识别[D]. 丁文宽.天津理工大学 2017
[4]基于深度学习的水果图像识别算法研究[D]. 王前程.河北大学 2016
[5]苹果采摘机器人重叠果实快速动态识别及定位研究[D]. 沈甜.江苏大学 2016
本文编号：3508150
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3508150.html
