温室果蔬采摘机器人视觉信息获取方法及样机系统研究

发布时间：2020-06-09 10:24

【摘要】：果蔬采摘机器人作业于温室非结构环境中,在多变的光线条件下,避让植株茎叶准确定位目标,完成果实无损伤抓取与切割。果蔬采摘信息获取是采摘机器人研究的难点与关键,根据果实与背景颜色差异,采摘对象可分为显著色差系果蔬与近色系果蔬,本文分别选取草莓和小型西瓜作为两类果蔬的典型代表,研究了采摘对象视觉信息获取方法,构建了果蔬采摘机器人系统。应用机器视觉、图像处理、光谱分析等技术,探索了果实识别、空间匹配及三维坐标定位方法,研制了采摘机器人模块化系统,并进行了温室采摘作业试验。主要研究内容和成果如下： (1)研究了基于颜色和形态特征的草莓采摘信息获取方法。根据果实与背景在4种常用色彩空间下的颜色分布特征,选择色差最为显著的R、G通道进行图像分割,通过轮廓补偿法补全果萼遮挡区域,获得完整果实区域图像。利用图像蒙版滤除近色系背景干扰,提取非全熟果实的青色区域,完成草莓成熟度判定。根据采摘机器人末端执行器结构与草莓果梗空间位姿特征,设置采摘高度线与采摘点疑似矩形兴趣区,提取了采摘点图像坐标。对草莓果实采摘信息获取方法进行试验,结果表明草莓识别成功率为94.2%,采摘点定位准确率为93.0%。 (2)研究了基于近红外图像的小型西瓜采摘信息获取方法。通过比较立体种植模式下小型西瓜果实、茎、叶片的光谱反射特性差异,选择在850nm附近波段下采集西瓜近红外灰度图像。根据果实与背景灰度分布特征,利用改进的Otsu算法完成了图像分割。采用“米”字型匹配模板识别获得“浓缩版”西瓜果实区域,有效降低阈值分割后果实粘连与小面积干扰影响。根据果实与果梗的空间姿态及相对位置特征,采用分块定位法获得切割点图像坐标。对小型西瓜采摘信息获取方法进行试验,结果表明：不同光照条件下,小型西瓜平均识别成功率为86%,采摘点与切割点定位准确率分别为93.0%和88.4%,为近色系果蔬采摘信息获取提供了一种技术思路。 (3)研究了基于双层约束的采摘点空间匹配策略,探索了基于双目立体视觉的采摘点三维信息获取方法。根据草莓形态特征,利用果实区域与采摘点唯一对应关系,提出了基于全局特征与关系特征的草莓区域匹配方法,完成采摘点初次遴选；利用基于极线约束的采摘点空间匹配方法,完成匹配对象二次遴选。搭建了交叉式双目立体视觉硬件系统,完成了摄像机内、外部参数及手眼相对位置参数标定,建立了图像坐标系、摄像机坐标系及机械臂坐标系间的相互转换关系,获得了草莓采摘点三维坐标计算流程。 (4)搭建了采摘机器人模块化样机系统,该机器人主要由双目立体视觉系统、机械手系统、中央控制器、导航行走平台、能源系统及其他附件组成。通过归一化色差2r-g-b分割图像并获取了导航线偏移信息,对四自由度关节型机械臂进行运动学逆解分析,获得目标位姿下各关节旋转角度参数。规划了机器人采摘动作流程,对采摘机器人进行了温室作业试验,机器人采摘成功率为86%,单次采摘循环耗时28s,机器人各功能模块运行良好,能够较好的适应温室作业环境。
【学位授予单位】：中国农业大学
【学位级别】：博士
【学位授予年份】：2014
【分类号】：S225

【参考文献】