基于深度视觉的棚架葡萄采摘机器人手眼系统设计与果梗近景识别研究

发布时间：2020-07-07 07:16

【摘要】：鲜食葡萄多采用水平棚架栽培,棚面与地面平行,通风透光好,作物品质佳、病虫害轻,便于包括机械在内的地面作业。针对水平棚架栽培模式下的葡萄机械化采收,本文为实现葡萄果梗的近景识别,提出了一种基于深度视觉的眼在指下的手眼配置方案并完成了手眼系统的开发,进而提出了一种基于葡萄空间几何特征与穗-梗连接处深度值跳动的果梗近景识别方法并进行试验验证。同时为实现棚架未知环境下的目标葡萄的自主锁定提出了一种远近景结合手眼伺服策略,并对其进行了初步验证。本文的主要研究内容如下:(1)在对水平棚架栽培葡萄的生长特性及物理特性的调研的基础上,对采摘机器人的末端执行器进行了结构设计,末端手眼系统形成了“眼在指下”的配置方式。由末端执行器和末端手眼系统组成的末端结构较为简单,体积小,可满足用于水平棚架栽培葡萄的采摘机器人末端的要求。(2)以葡萄的深度图像为研究对象,根据深度信息特征,确定适用于水平棚架葡萄识别定位的近景探测范围。利用深度信息进行干扰信息的剔除,根据葡萄穗-梗连接处的深度值特征,确定穗-梗分割点,进一步确定葡萄果梗上采摘点位置。该方法仅依赖单一深度信息对采摘点进行识别定位,有效发挥深度视觉对光照敏感度较低的优势。(3)为验证果梗近景识别定位的有效性和通用性,以不同颜色的四种葡萄作为试验对象,进行了近景识别。试验表明,该识别方法对“白露沙”,“秋红”,“红意大利”,“红地球”的采摘点识别定位成功率分别为88%,80%,80%,100%,用时分别为0.3秒,0.28秒,0.29秒,0.28秒。因此该算法对采摘点的识别定位成功率为87.5%,平均用时约为0.29秒。(4)根据葡萄采摘机器人需要在未知环境下对目标葡萄进行检索及自主锁定的要求,基于水平棚架栽培模式下的葡萄生长特性,提出一种基于葡萄果穗最低点的远近景结合识别定位的协调策略,并对远近景结合识别定位中的关键点位置进行了确定。对远近景结合识别定位进行视觉部分进行了室内试验,验证了该方法的合理性。本文针对棚架葡萄近景果梗识别及采摘的需要,进行了基于深度视觉的“眼在指下”手眼配置方案设计,提出了基于葡萄空间几何特征与穗-梗连接处深度值跳动的果梗近景识别方法,进行了不同葡萄品种的果梗识别效果试验,进而提出了棚架未知环境下远近景结合的手眼协调控制策略,并完成了室内试验验证。
【学位授予单位】：江苏大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP242;S225
【图文】：

彩色图像,识别算法,葡萄,白葡萄

c.算法三图 1.1 三种识别算法Fig.1.1 Three recognition algorithm年，Reis[16]等人提出了一种用于在自然环境中检测和定位彩色图像中系统能够区分白葡萄和红葡萄，同时计算葡萄果串在图像中的位置和白葡萄实现了 97％和 91％的正确分类。年，刘灿[17]提出一种适用于葡萄套袋的识别方法。该方法利用葡萄外圆检测对果粒进行圆心的判断和半径的提取，从而对整串葡萄进行一果粒的集中区域进行葡萄区域的二次判断，由此定位葡萄。而后引进行套袋处理。年，Stephen Nuske 等人[18]提出一种基于计算机视觉的葡萄园葡萄果以估算每株葡萄的产量。首先，通过使小车与葡萄藤间保持相对恒

视觉感知,机器人,果梗,葡萄

萄的 HIS 色彩空间中的 H 分量来分割紫色葡萄与绿色背景，在提取葡萄果穗的图像后，其进行形态学处理，以质心为基础确定果梗上的采摘点。该方法的定位准确率较高88.33%，平均定位时间为 0.3467s。2016 年，宋西平等人[25]开发了一套葡萄采摘点的空间定位系统。该方法在识别出葡的情况下，对葡萄果梗进行直线夹角阈值、可信区域、点到直线最小距离与深度间距阈4 个约束条件来改进采摘点的定位方法，使得采摘点较理想得定位于果梗中部。同时结双目视觉求出葡萄采摘点的空间位置。2018 年，Xiong 等人[26]提出一种在夜间对绿色葡萄进行检测和采摘点定位的方法。用颜色模型以实现绿色葡萄的检测。采用改进的 Chan-Vese（C-V）水平集模型和形态学理方法去除图像背景，留下葡萄果实。根据葡萄的生长特性，以最小外接矩形和霍夫直检测对果梗进行直线拟合，从而确定采摘点位置。该方法的葡萄果实检测准确率为 91.67％平均运行时间为 0.46 s。采摘点计算的最高精度为 92.5％，最低为 80％。

流程图,甜椒,收获机,原型

d.识别流程图 1.6 苹果识别视觉系统及识别流程 Apple recognition vision system and identificatio子啸等人[38]提出一种基于 Kinect 的猕猴桃和 RGB 图像进行获取，并将两者进行对对猕猴桃果实进行空间定位，其误差小[39,40]搭建了一个甜椒的自动收获系统。和深度数据。为将甜椒从背景中区分出标甜椒的红色。接着将 3D 模型拟合到分方法对单果的识别时间达到 15s，并不

【参考文献】