多功能果蔬采摘机器人的图像识别算法研究

发布时间：2021-08-08 01:41

　　生产过程的机械化和智能化是农业发展的必然趋势,果蔬采摘作为农业生产中的重要环节,如何实现采摘过程的无人化和自动化是近年来农业工程领域研究的重要热点之一。但目前大部分采摘机器人只能针对某一种果实进行作业,全年大部分时间处于闲置状态,显著提高了使用成本并且不利于商业推广。因此,研究一种能够进行多种果实采摘作业的多功能果蔬采摘机器人具有重要的实用价值和商业前景。视觉系统作为采摘机器人的眼睛,是实现不同果实识别与定位的关键。本研究从众多果蔬品种中选择在颜色和形状上具有代表性的苹果和黄瓜为主要研究对象,围绕果实的图像识别算法展开研究,并将相关算法推广应用于其他果蔬品种果实的识别和定位上。根据不同果实的特点,共提出了3种不同的果实识别算法,分别是以颜色特征为主、以形状特征为主和基于DCNN（Deep convolutional neural network,深度卷积神经网络）的果实识别算法。本研究的主要内容包括以下4个方面:（1）针对成熟苹果表面颜色与背景存在明显差异的特点,提出了以颜色特征为主的苹果识别算法。通过分析苹果图像中果实与其他物体在不同颜色因子下的区分度,选择能够体现果实与背景差异的颜... 

【文章来源】：江苏大学江苏省

【文章页数】：128 页

【学位级别】：博士

【部分图文】：

着色不均和

杉?敕治?为了对着色不均匀苹果的颜色特征进行提取和分析，需要大量的苹果图像进行样本分析与算法测试。2015年10月在江苏省徐州市丰县大沙河镇苹果种植基地进行了苹果图像的采集。用于图像采集的相机型号为佳能IXUS275HS，该型号相机采用CMOS（Complementarymetaloxidesemiconductor，互补金属氧化物半导体）感光元件。所有图像为彩色图像，分辨率为4160×3120，格式为jpg。为减少数据量并加快运算速度，在试验中统一将图像分辨率缩小为400×300。选取其中160幅图像进行试验，这些图像中包含多种不同光线和状态下的果实。如图2.3所示，其中图2.3a，图2.3b和图2.3c分别展示了顺光、逆光和侧光环境下的苹果图像，同时图2.3a~2.3d还分别展示了粘连、重叠、单果和遮挡的苹果状态。此类光线环境和苹果状态在所采集的图像中较为常见，具有一定的代表性。(a)顺光与粘连果实(b)逆光与重叠果实(c)单个侧光果实(d)树叶遮挡果实图2.3不同状态的苹果图像Fig.2.3Appleimagesindifferentconditions所采集图像中虽然光线环境复杂，果实状态多样，但是图像中主要物体的构成相对固定。分析所采集的图像可以看出，构成图像的物体主要可以分为5类：果实、树叶、树枝、天空和泥土。其中，树叶在图像中所占面积最大，平均所占面积超过50%。为了对这5类物体的颜色特征进行分析，选取了60幅图像作为样本图像，并在这些图像中分别提取这5类物体的像素样本，其中部分样本区域如图2.4所示。在样本选择时，充分考虑了样本像素的差异性和代表性。差异性为相同物体不同部分的差异性和相同物体在不同光线下的差异性，代表性为选取的像素样本应广泛存在于不同的样本图像中。图2.4a中的苹果样本含有红色部分和红绿交杂部分，也含有顺光和逆光部分等。图2.4b中的树叶样本含有树?

江苏大学博士学位论文19(c)树枝样本(d)天空样本(e)泥土样本图2.4不同物体的样本图像Fig.2.4Sampleimagesofdifferentobjects为了进一步分析不同物体的颜色特征，图2.5绘制了主要5类物体样本像素点在RGB颜色空间的分布。从图中可以看出样本像素点基本围绕对角线分布，其中天空样本像素点因为亮度较高主要集中在颜色空间的右上角。树枝和泥土的像素在RGB颜色空间与苹果像素点距离较近，还存在部分交叠。天空像素和树叶像素与部分苹果像素距离较为接近，但是没有明显的交叠。在果实分割过程中，颜色空间中相互接近或交叠的像素极易被错误分割。增加不同类别像素在颜色空间上的距离，有助于提高果实分割的准确性。在相关研究中，通过构造不同的算子或者寻找合适的颜色分量可以增加不同类别像素间的距离，从而提高不同类别像素间的区分度。但是根据经验构造的算子或者单一的颜色分量性能有限，难以实现准确的像素分割，尤其是对此类着色不均匀的苹果而言。因此，本研究提出通过对比不同类别像素在不同颜色分量或算子下的区分度，选择其中区分度较大的颜色分量或算子对原图进行重构形成多通道图像。图2.5样本像素在RGB颜色空间的分布Fig.2.5ThedistributionofsamplepixelsinRGBcolorspace2.2.2颜色空间的分类与转换在相关果实识别的研究中颜色空间的转换是寻找合适颜色分量、构造有效颜色算子的关键性步骤。目前，常见的颜色空间如图2.6所示，图中相同形状的文本框表示的是同一类型的颜色空间。图2.6中心的RGB颜色空间由光学三原色红、绿、蓝构成，是原始图像数据所采用的颜色空间，其他颜色空间可以从RGB颜色空间转换得到。CMY颜

【参考文献】：
期刊论文
[1]农业装备智能控制技术研究现状与发展趋势分析[J]. 刘成良,林洪振,李彦明,贡亮,苗中华.  农业机械学报. 2020(01)
[2]基于深度学习的苹果树侧视图果实识别[J]. 荆伟斌,李存军,竞霞,赵叶,程成.  中国农业信息. 2019(05)
[3]改进Faster-RCNN自然环境下识别刺梨果实[J]. 闫建伟,赵源,张乐伟,苏小东,刘红芸,张富贵,樊卫国,何林.  农业工程学报. 2019(18)
[4]基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法[J]. 吕石磊,卢思华,李震,洪添胜,薛月菊,吴奔雷.  农业工程学报. 2019(17)
[5]基于改进AlexNet的广域复杂环境下遮挡猕猴桃目标识别[J]. 穆龙涛,高宗斌,崔永杰,李凯,刘浩洲,傅隆生.  农业机械学报. 2019(10)
[6]自然环境下柑橘采摘机器人识别定位系统研究[J]. 杨长辉,刘艳平,王毅,熊龙烨,许洪斌,赵万华.  农业机械学报. 2019(12)
[7]果树重建与果实识别方法在采摘场景中的应用[J]. 熊龙烨,王卓,何宇,刘洒,杨长辉.  传感器与微系统. 2019(08)
[8]基于几何形态学与迭代随机圆的番茄识别方法[J]. 孙建桐,孙意凡,赵然,季宇寒,张漫,李寒.  农业机械学报. 2019(S1)
[9]农业机械智能化设计技术发展现状与展望[J]. 杜岳峰,傅生辉,毛恩荣,朱忠祥,李臻.  农业机械学报. 2019(09)
[10]基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别[J]. 王丹丹,何东健.  农业工程学报. 2019(03)



本文编号：3328954