基于机器视觉的柑橘采摘目标识别与路径规划算法研究
发布时间：2022-02-08 21:09
随着农业自动化的发展,传统的人工采摘方式已经无法满足农民对柑橘一类果实的采摘需求。急切需要一种能够快速且智能化的果实采摘设备来代替人工进行果实收获工作。目前国外对果实采摘设备的研究已经取得一定的成果,并投入到实际的应用当中,而国内大部分的果实采摘设备仍处于试验阶段,无法满足实际的生产需求。对待采摘柑橘的快速检测和精确定位,以及采摘路径规划等算法的研究,能够为采摘设备提供核心理论支持,对加快设备的研发有重要研究意义。本文基于机器视觉技术实现了柑橘采摘的目标识别和路径规划算法。通过深度相机采集的柑橘图像输入到改进的Mask R-CNN算法中进行目标检测,再将检测结果转换成世界坐标输入到改进的蚁群算法中进行柑橘采摘路径规划。主要工作如下:1.应用Intel Realsense D435i深度相机采集柑橘RGB图像和深度图的图像集。基于中值滤波的方法对RGB图像进行预处理,突出果实与背景的特征差异。应用Label Me工具进行数据集标定,并提出一种基于HSV模型的颜色检测方法提高数据集标定的效率和精确度。应用图像处理中图像旋转的方法对数据集进行增强,提高数据集的多样性。2.通过对Mask R-...
【文章来源】：广东工业大学广东省
【文章页数】：74 页
【学位级别】：硕士
【部分图文】：
柑橘采摘机器人示意图
第二章算法流程与相关理论基础7第二章算法流程与相关理论基础柑橘采摘机器人示意图如图2-1所示。柑橘采摘机器人主要由行走装置、摄像头、机械臂和采摘装置构成。柑橘采摘机器人的采摘过程分为以下四个步骤：（1）通过行走装置移动至柑橘采摘的合适位置。（2）再通过摄像头采集柑橘照片，输入到目标检测算法中识别出柑橘并计算果实的世界坐标。（3）根据果实的世界坐标分布，由相关算法进行路径规划，并引导机械臂和采摘装置按照规划的路径依次移动至果实位置，逐一进行采摘。（4）采摘完该区域的果实再移动至下一采摘位置，继续执行（1）步骤。图2-1柑橘采摘机器人示意图Figure2-1Schematicdiagramofcitruspickingrobot由于受硬件条件的限制，本课题中，只对柑橘采摘过程中涉及的核心算法进行研究。如柑橘的目标检测算法，柑橘的世界坐标定位算法，柑橘采摘的路径规划算法。图2-2算法流程Figure2-2Algorithmflow本课题主要实现对柑橘的识别、定位以及世界坐标系下的采摘路径规划，算法
广东工业大学硕士学位论文10深度范围为0.1米到10米，适合待采摘柑橘的识别和定位算法的研究。D435i的实物图如图所示。其中红外发射器用于发射结构光，左、右灰度摄像头用于采集左、右灰度图像，RGB摄像头用于采集RGB图像。图2-3IntelRealsenseD435iFigure2-3IntelRealsenseD435i2.2卷积神经网络卷积神经网络是一种基于卷积运算且具有深度结构的前馈神经网络，最早出现的模型有时间延迟网络和LeNet-5[29]。随着相关理论的不断完善，卷积神经网络得到了快速发展，代表性的模型有VGG[30]、GoodLeNet[31]、ResNet[32]等。如图2-4所示是一种卷积神经网络的示意图。网络的前几个阶段是由卷积层和池化层组成，用于对输入图像，例如本课题中的柑橘RGB图像进行采样和特征提取并输出特征图。用激活函数将每一层特征图建立非线性连接。最后一层的特征图与输出层由全连接层连接，实现网络的最终输出，如本课题的分类任务中输出柑橘类和背景类。图2-4卷积神经网络Figure2-4Convolutionalneuralnetwork卷积层用于对上一层的数据进行特征提取，承担了绝大部分的计算任务，是卷积神经网络的核心模块。池化层是对特征图的局部块进行最大池化或平均池化计算。通过池化层下采样操作，能够降低数据的维度并保持数据的平移不变性，有利于加快网络运算和减少
【参考文献】：
期刊论文
[1]基于Mask R-CNN的葡萄叶片实例分割[J]. 乔虹,冯全,赵兵,王书志. 林业机械与木工设备. 2019(10)
[2]基于Faster R-CNN模型的低空平台偏振高光谱目标检测[J]. 黄伟,曹宇剑,徐国明. 红外技术. 2019(07)
[3]基于Mask RCNN的目标识别与空间定位[J]. 欧攀,路奎,张正,刘泽阳. 计算机测量与控制. 2019(06)
[4]基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别[J]. 王丹丹,何东健. 农业工程学报. 2019(03)
[5]基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位[J]. 赵德安,吴任迪,刘晓洋,赵宇艳. 农业工程学报. 2019(03)
[6]基于改进特征金字塔的Mask R-CNN目标检测方法[J]. 任之俊,蔺素珍,李大威,王丽芳,左健宏. 激光与光电子学进展. 2019(04)
[7]一种主动鉴别未知类别指静脉的识别系统[J]. 陶志勇,王浩童,王藜谚. 激光与光电子学进展. 2018(12)
[8]基于改进势场蚁群算法的机器人路径规划[J]. 王晓燕,杨乐,张宇,孟帅. 控制与决策. 2018(10)
[9]基于粗糙集与遗传算法的采摘机器人路径规划[J]. 蔡炯,汪小志. 农机化研究. 2016(08)
[10]基于空间依存的无参考图像质量评价[J]. 张闯,王亚明,陈苏婷. 光学精密工程. 2015(11)
本文编号：3615754
【文章来源】：广东工业大学广东省
【文章页数】：74 页
【学位级别】：硕士
【部分图文】：
柑橘采摘机器人示意图
第二章算法流程与相关理论基础7第二章算法流程与相关理论基础柑橘采摘机器人示意图如图2-1所示。柑橘采摘机器人主要由行走装置、摄像头、机械臂和采摘装置构成。柑橘采摘机器人的采摘过程分为以下四个步骤：（1）通过行走装置移动至柑橘采摘的合适位置。（2）再通过摄像头采集柑橘照片，输入到目标检测算法中识别出柑橘并计算果实的世界坐标。（3）根据果实的世界坐标分布，由相关算法进行路径规划，并引导机械臂和采摘装置按照规划的路径依次移动至果实位置，逐一进行采摘。（4）采摘完该区域的果实再移动至下一采摘位置，继续执行（1）步骤。图2-1柑橘采摘机器人示意图Figure2-1Schematicdiagramofcitruspickingrobot由于受硬件条件的限制，本课题中，只对柑橘采摘过程中涉及的核心算法进行研究。如柑橘的目标检测算法，柑橘的世界坐标定位算法，柑橘采摘的路径规划算法。图2-2算法流程Figure2-2Algorithmflow本课题主要实现对柑橘的识别、定位以及世界坐标系下的采摘路径规划，算法
广东工业大学硕士学位论文10深度范围为0.1米到10米，适合待采摘柑橘的识别和定位算法的研究。D435i的实物图如图所示。其中红外发射器用于发射结构光，左、右灰度摄像头用于采集左、右灰度图像，RGB摄像头用于采集RGB图像。图2-3IntelRealsenseD435iFigure2-3IntelRealsenseD435i2.2卷积神经网络卷积神经网络是一种基于卷积运算且具有深度结构的前馈神经网络，最早出现的模型有时间延迟网络和LeNet-5[29]。随着相关理论的不断完善，卷积神经网络得到了快速发展，代表性的模型有VGG[30]、GoodLeNet[31]、ResNet[32]等。如图2-4所示是一种卷积神经网络的示意图。网络的前几个阶段是由卷积层和池化层组成，用于对输入图像，例如本课题中的柑橘RGB图像进行采样和特征提取并输出特征图。用激活函数将每一层特征图建立非线性连接。最后一层的特征图与输出层由全连接层连接，实现网络的最终输出，如本课题的分类任务中输出柑橘类和背景类。图2-4卷积神经网络Figure2-4Convolutionalneuralnetwork卷积层用于对上一层的数据进行特征提取，承担了绝大部分的计算任务，是卷积神经网络的核心模块。池化层是对特征图的局部块进行最大池化或平均池化计算。通过池化层下采样操作，能够降低数据的维度并保持数据的平移不变性，有利于加快网络运算和减少
【参考文献】：
期刊论文
[1]基于Mask R-CNN的葡萄叶片实例分割[J]. 乔虹,冯全,赵兵,王书志. 林业机械与木工设备. 2019(10)
[2]基于Faster R-CNN模型的低空平台偏振高光谱目标检测[J]. 黄伟,曹宇剑,徐国明. 红外技术. 2019(07)
[3]基于Mask RCNN的目标识别与空间定位[J]. 欧攀,路奎,张正,刘泽阳. 计算机测量与控制. 2019(06)
[4]基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别[J]. 王丹丹,何东健. 农业工程学报. 2019(03)
[5]基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位[J]. 赵德安,吴任迪,刘晓洋,赵宇艳. 农业工程学报. 2019(03)
[6]基于改进特征金字塔的Mask R-CNN目标检测方法[J]. 任之俊,蔺素珍,李大威,王丽芳,左健宏. 激光与光电子学进展. 2019(04)
[7]一种主动鉴别未知类别指静脉的识别系统[J]. 陶志勇,王浩童,王藜谚. 激光与光电子学进展. 2018(12)
[8]基于改进势场蚁群算法的机器人路径规划[J]. 王晓燕,杨乐,张宇,孟帅. 控制与决策. 2018(10)
[9]基于粗糙集与遗传算法的采摘机器人路径规划[J]. 蔡炯,汪小志. 农机化研究. 2016(08)
[10]基于空间依存的无参考图像质量评价[J]. 张闯,王亚明,陈苏婷. 光学精密工程. 2015(11)
本文编号：3615754
本文链接：https://www.wllwen.com/nykjlw/nygclw/3615754.html
