基于Kinect的田间苹果检测与定位方法研究

发布时间：2020-04-02 05:16

【摘要】：苹果是我国大规模种植的农产品之一,是农业经济发展的重要支柱。但是,目前苹果的采摘作业主要依靠劳动力来完成,其劳动强度大、生产成本高、生产率低。因此,研究智能化水平较高的苹果采摘机器人代替人工采摘具有重要的意义。本文主要针对田间环境下墙型种植模式的爵士苹果,使用Kinect相机获取对齐的彩色图像、深度图像和点云数据。首先基于常用的两种卷积神经网络对原始彩色苹果图像进行果实检测方法的研究,但枝干遮挡的果实易被分成几个独立的部分,可能导致一个果实被误检测为几个果实,且不能确定果实遮挡的果实采摘顺序,需对果实再进行多分类标记;然后为进一步提高检测精度,针对墙型种植模式下的苹果图像背景复杂的缺点,利用深度图像去除复杂背景,再以结果较优的卷积神经网络进行去背景后的苹果图像检测;最后基于点云数据进行苹果果实定位方法的研究。本文主要研究内容具体如下:(1)基于原始彩色苹果图像检测研究。首先使用几何变换和图像增强的方法对采集到的图像进行数据增广;然后分别进行果实标记和果实多分类标记,对数据增广的样本进行标记文件映射;最后采用基于Faster-RCNN原理的VGG16和ZF网络模型进行图像的训练和检测。实验结果表明:VGG16网络模型平均检测精度较高,在果实检测模型中,果实AP值为88.12%,检测时间为0.182s/幅;在果实多分类检测模型中,单个无遮挡的果实AP值为90.90%,树叶遮挡的果实AP值为89.94%,枝干遮挡的果实AP值为85.82%,果实遮挡的果实AP值为84.82%,mAP值为87.87%,检测时间为0.241s/幅。(2)基于去背景彩色苹果图像检测研究。首先找出深度图像中深度值超过200 cm的像素点;然后将同分辨率的彩色图像中对应像素点的值置0,并进行图像数据增广和相应的标记文件映射;最后使用迁移原始图像最佳检测模型参数的方法对新的VGG16网络模型进行训练和检测。实验结果表明:在果实检测模型中,果实AP值为89.32%,比原始图像检测值提高了 1.2%,检测时间为0.181s/幅;在果实多分类检测模型中,单个无遮挡的果实AP值为91.12%,树叶遮挡的果实AP值为90.25%,枝干遮挡的果实AP值为87.34%,果实遮挡的果实AP值为86.48%,mAP值为88.80%,分别比原始图像检测值提高了0.22%、0.31%、1.52%、1.66%和0.93%,检测时间为0.240s/幅。(3)苹果果实的三维空间定位研究。首先使用MATLAB编程获取去除背景后的苹果边界框的左上角和右下角两个像素点坐标,再计算其平均值作为中心像素点坐标,并依次获取中心像素点的上、下、左、右、左上、左下、右上、右下8个领域像素点坐标;然后分别使用直通滤波、统计滤波和双边滤波的方法对点云进行背景去除、离群点去除和内部高频噪声去除;最后提取这9个像素点的三维空间坐标值,计算其平均值作为苹果果实最终抓取点的三位空间坐标。通过基于Faster-RCNN原理的VGG16和ZF网络模型对原始彩色苹果图像分别进行果实检测和果实多分类检测,VGG16网络模型相比于ZF网络模型对田间环境下苹果均有较好的检测效果;然后对原始彩色苹果图像进行复杂背景去除,进一步提高了检测精度;最后从去噪后的点云数据中获取了果实的三维空间坐标并确定了果实的采摘顺序。本文为苹果采摘机器人的目标检测与定位提供了一些方法,取得了一些可供参考的结论。
【图文】：

果实,苹果树,检测方法,纹理

逡逑相比传统种植模式下的苹果矮化冠状树形，爵士苹果的树形为墙型，如图１－１所示。逡逑多数苹果果实位于果树两侧，枝条遮挡较少，使得采摘机械手可以直接到达需要采摘的逡逑目标果实前，，避免了枝条阻碍采摘路线，非常有利于机械化采摘。因此，在标准化的苹逡逑果种植模式下，有望实现苹果的采摘自动化作业，对提高苹果采摘工作效率，促进苹果逡逑产业发展具有重要的科学研宄意义。逡逑sE逡逑图１－１墙型种植苹果树逡逑Ｆｉｇ．邋１－１邋Ａｐｐｌｅ邋ｔｒｅｅ邋ｐｌａｎｔｅｄ邋ｉｎ邋ｗａｌｌ逡逑在传统的果实检测方法中，生要针对果实的颜色、纹理和形状进行检测，但检测过逡逑程较为复杂，近年来，随着人工智能技术的快速发展，深度学习已成为机器学习研宄中逡逑的＾个新的领域。通过建立和模拟人脑进行分析学习的神经网络，模仿人脑的机制来解逡逑释数据，已在图像、声音和文本等领域发挥了巨大的作用。卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎ逡逑Ｎｅｕｒａｌ邋Ｎｅｔｗｏｒｋ

示意图,网结构,示意图,低维

图２－１邋Ｆａｓｔｅｒ－ＲＣＮＮ网络结构示意图逡逑Ｆｉｇ．邋２－１邋Ｔｈｅ邋ｓｃｈｅｍａｔｉｃ邋ｄｉａｇｒａｍ邋ｏｆ邋Ｆａｓｔｅｒ－ＲＣＮＮ邋ｎｅｔｗｏｒｋ邋ａｒｃｈｉｔｅｃｔｕｒｅ逡逑ＲＰＮ部分网络结构示意图如图２－２所示。每个滑动窗；Ｐ位置被映射为一个低维的特逡逑征向量，低维是相对于特征图大小ｗｘｈ的，其中，ＺＦ网络中为２５６维，ＶＧＧ１６网络为逡逑５１２维。之后，特征向复输入到ｒｅｇ边框回归网络和ｄｓ边框分类网络两个子网络中，分逡逑别对区域建议生成的边界框进行位置精修和对每个ａｎｃｈｏｒ是否属于目标或背景进行打逡逑分，所以会有ｗｘｈｘ９个结果。逡逑２ｋ邋ｓｃｏｒｅｓ逦４々邋ｃｏｏｒｄｉｎａｔｅｓ逦＾邋ａｎｃｈｏｒ邋ｂｏｘｅｓ逡逑ｅｌｓ邋ｌａｙｅｒ逦舍邋ｒｅｇ邋ｌａｙｅｒ逦ｂ逡逑２５６－ｄ逦■逡逑ｔ邋ｉｎｔｅｒｍｅｄｉａｔｅ邋ｌａｙｅｒ逡逑＼＾＾二二．Ｆ逡逑＼逦＼逦＼逦Ｖ邋＼逦邋邋？逡逑？逡逑Ｃｏｎｖ邋ｆｅａｔｕｒｅ邋ｍａｐ逦？逡逑图２－２邋ＲＰＮ网络结构示意图逡逑Ｆｉｇ．邋２－２邋Ｔｈｅ邋ｓｃｈｅｍａｔｉｃ邋ｄｉａｇｒａｍ邋ｏｆ邋ＲＰＮ邋ｎｅｔｗｏｒｋ邋ａｒｃｈｉｔｅｃｔｕｒｅ逡逑２．１．２网络模型训练方法逡逑ＲＰＮ网络和Ｆａｓｔ－ＲＣＮＮ网络共享了一个提取特征的ＶＧＧ１６或ＺＦ网络，为了精调逡逑这个网络模型
【学位授予单位】：西北农林科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：S661.1;TP391.41

【相似文献】