温室绿熟番茄机器视觉检测方法

发布时间：2019-08-16 20:48

【摘要】：针对基于可见光图像对绿色番茄进行识别过程中,光线不均造成的阴影等会影响果实的识别、枝干和叶片对果实的遮挡以及果实之间的遮挡对果实识别的影响等难题,该文对基于机器视觉的绿色番茄检测方法进行研究。首先通过快速归一化互相关函数(FNCC,fast normalized cross correlation)方法对果实的潜在区域进行检测,再通过基于直方图信息的区域分类器对果实潜在区域进行分类,判别该区域是否属于绿色果实,并对非果实区域进行滤除,估计果实区域的个数。与此同时,基于颜色分析对输入图像进行分割,并通过霍夫变换圆检测绿色果实的位置。最终对基于FNCC和霍夫变换圆检测方法的检测结果进行融合,实现对绿色番茄果实的检测。当绿色果实和红色果实同时存在时,将绿色果实检测结果与基于局部极大值法和随机圆环变换检测圆算法的红色番茄果实检测结果进行合并。算法通过有机结合纹理信息、颜色信息及番茄的形状信息,对绿色番茄果实进行了检测,解决了绿色番茄与叶子、茎秆等背景颜色接近等难题。文中共使用了70幅番茄图像,其中35幅图像作为训练集图像,35幅作为验证集图像。所提出算法对训练集图像中的83个果实的检测正确率为89.2%,对验证集图像中105个果实的检测正确率为86.7%,为番茄采摘机器人采摘红色和绿色成熟番茄奠定了基础。
【图文】：

番茄,绿色,图像,果实

?11:00—15:00时，在北京市昌平区小汤山特菜大观园日光温室采集番茄图像30幅番茄图像。采集时采用自然光作为光源，温室内温度为15～20℃。采集到的所有70幅图像中，随机选择35幅作为训练集，35幅作为验证集图像。所有可见光图像由尼康J1相机（NikonInc.，Japan）采集，采集的可见光图像分辨率为2592×3872像素，图像保存格式为JPG。在进行算法运算之前，将可见光图像缩小为原图像的1/16，即648×968像素。文中所有算法均通过Matlab（Ver.R2010a,Mathworks，Natick，Ma，USA）软件实现。1.2算法总体描述本文针对如图1所示的绿色番茄果实的检测问题，提出了基于机器视觉的绿色番茄检测算法。该算法的流程图如图2所示。由于绿色番茄与绿色的茎秆及叶子的颜色相近，如果用传统的颜色分析法对果实分割，效果很差。但是通过观察发现，绿色番茄的果实区域与茎秆及叶子区域的纹理特征相差很大，因此本文首先基于果实30×30像素区域和非果实30×30像素区域进行基于区域直方图信息的分类器的训练。对于需要进行绿色果实检测的图像，首先通过快速归一化互相关函数（FNCC,fastnormalizedcrosscorrelation）方法对果实的潜在区域进行检测，再通过训练好的基于区域直方图信息的分类器对潜在位置处感兴趣区域进行分类，判别该区域是否属于绿色果实，，并对非果实区域进行滤除，估计果实区域的个数。与此同时，对果实的个数进行估计。通过颜色分析对输入图像进行分割，并利用果实的估计个数作为霍夫变换圆检测的一个参数，进行绿色果实的检测。并最终基于FNCC和霍夫变换圆检测方法的检测结果的圆心距离，对绿色番茄果实的检测结果进行融合，实现对果实的检测和定位。图1绿色番茄图像举例Fig.1Exampleimageofgreentomatoes注：RGB图像表示用R

区域图,果实,像素,区域

叶戎荡笥?0的区域表示该区域与果实区域模板的相关系数大于0.7。对图1和图4进行比较，可以看出图像中大部分果实区域被准确识别，但是也存在一些非果实区域被误检测。通过对各个果实潜在位置的区域，采用5.1节所得到的SVM分类器进行分析，将正误识进行滤除掉，其结果如图5所示。可以看出对图中的果实进行了正确的检测。但是，由于FNCC只能够对果实的位置进行估计，并不能够对果实的大小进行估计，无法为机器人采摘进行进一步的指导，因此需要霍夫圆变换进一步检测果实的半径。a.果实a.Fruitb.非果实b.Non-fruit图3果实和非果实30×30像素区域Fig.330×30pixelregionsforfruitandnon-fruit表2不同分类器对区域分类的结果Table2Classificationresultsusingdifferentclassifiers果实区域Fruitarea非果实区域Non-fruitarea分类器Classifier正确检测数目Correctdetection正确检测率Correctdetectionratio/%正确检测数目Correctdetection正确检测率Correctdetectionratio/%KNN分类器KNNclassifier42844080朴素贝叶斯NaveBayes47943468支持向量机SVM479440801234图4FNCC果实检测结果图5基于区域纹理分析的Fig.4Detectionresults检测结果usingFNCCFig.5Detectionresultsbasedonregionaltextureanalysis5.3霍夫变换结果由于番茄果实与背景差异较小，霍夫圆变换不能够直接应用于RGB图像中，需要对图像中的果实边缘进行检测。根据文献[35]的分析，R、B、Hue3个分量对于果实和背景的区分效果最显著，其中R、B分别为RGB图像的红色和蓝色分量，Hue为RGB图像进行HSV颜色变换后的色调分量，简写为H。因此，本文首先获取了RBH颜色分量复合图像，如图6所示。可以看出，果实与叶子?
【作者单位】：中国农业大学现代精细农业系统集成研究教育部重点实验室;河北工业大学电子信息工程学院;
【基金】：国家自然科学基金:封闭式基质栽培日光温室环境最优调控与管理策略(31271619) 北京市优秀人才培养资助青年骨干个人(2015000020060G129) 中国农业大学基本科研业务费专项资金项目(2016XD003)
【分类号】：S626;S641.2;TP391.41

【相似文献】