基于流形学习算法的马铃薯机械损伤机器视觉检测方法 南京廖华

发布时间：2016-10-20 15:27

  本文关键词：基于流形学习算法的马铃薯机械损伤机器视觉检测方法，由笔耕文化传播整理发布。

第30卷 第1期 农 业 工 程 学 报 Vol.30 No.1

2014年 1月 Transactions of the Chinese Society of Agricultural Engineering Jan. 2014 245

·农产品加工工程·

基于流形学习算法的马铃薯机械损伤机器视觉检测方法

汪成龙1，李小昱1，武振中1，周 竹2，冯耀泽1

※

（1. 华中农业大学工学院，武汉 43007； 2. 浙江农林大学信息工程学院，临安 311300）

摘 要：针对马铃薯表面芽眼和凹凸不平的影响，使之马铃薯机械损伤难以检测的问题，该文提出了一种基于流形学习算法的马铃薯机械损伤检测方法。首先利用马铃薯图像的显著图分割出马铃薯区域，然后利用主成分分析（principal component analysis，PCA）、等距映射（isometric mapping，Isomap）和局部线性嵌入（locally-linear embedding，LLE）3种流形学习方法提取马铃薯区域图像特征参数，然后分别建立基于3种流形特征的支持向量机（support vector machine，SVM）分类模型PCA-SVM、Isomap-SVM和LLE-SVM，利用网格搜索法（grid search）、遗传算法（genetic algorithm，GA）以及粒子群算法（particle swarm optimization，PSO）3种模型参数优化方法，优化支持向量机模型的惩罚参数c和RBF核参数g，以建立最优分类模型，最后比较3种分类模型的识别效果，确定最优分类模型。研究结果表明，PCA-SVM分类模型对训练集识别率为100%，测试集识别率为100%；Isomap-SVM分类模型对训练集识别率为100%，测试集识别率为91.7%；LLE-SVM分类模型对训练集识别率为100%，测试集识别率为91.7%，表明 PCA、Isomap和LLE 3种流形学习方法用于马铃薯机械损伤检测是可行的，其中PCA-SVM分类模型检测效果最优。

关键词：机器视觉，识别，算法，流形学习，机械损伤，马铃薯 doi：10.3969/j.issn.1002-6819.2014.01.031

中图分类号：TP391.41 文献标志码：A 文章编号：1002-6819(2014)-01-0245-08

李小昱，武振中，等. 基于流形学习算法的马铃薯机械损伤机器视觉检测方法[J]. 农业工程学报，2014，汪成龙，

30(1)：245－252.

Wang Chenglong, Li Xiaoyu, Wu Zhenzhong, et al. Machine vision detecting potato mechanical damage based on manifold learning algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(1): 245－252. (in Chinese with English abstract)

0 引 言

基于机器视觉的农产品表面缺陷检测和分级方法国内外已有广泛研究[1-3]。水果方面，应义斌等先后提出了傅里叶变换、区域增长法和最小外接矩形法检测黄花梨的果形、表面缺陷面积和大小[4-6]，并建立了基于机器视觉的黄花品质检测系统和水

随后又提出了一种水果表面亮果实时分级系统[7-8]，

度不均校正算法，利用单阈值灰度分割法正确率达到97%[9]。马铃薯方面，高晓阳等提出了基于不变矩的马铃薯形检测方法，薯形分选准确率为96%[10]；郝敏等利用Zernike矩进行马铃薯薯形检测，薯形良好和畸形的检测准确率达93%和100%[11]，随后又提出边界点矩特征傅里叶描述子

收稿日期：2013-07-25 修订日期：2013-11-15

基金项目：国家自然科学基金项目（61275156）；湖北省自然科学基金重点项目（2011CDA033）

作者简介：汪成龙（1986－），男，湖北荆州人，研究方向为智能化检测技术。武汉 华中农业大学工学院，430070。 Email：181817906@qq.com

※通信作者：李小昱（1953－），女，教授，博士生导师，中国农业工程学会高级会员（E041200068S），研究方向为智能化检测技术。武汉 华中农业大学工学院，430070。Email：lixiaoyu@mail.hzau.edu.cn

检测马铃薯薯形，取得了较好的效果[12]，但两者均

未对马铃薯表面缺陷作相应研究。本课题组前期也进行了马铃薯外部品质相关研究，李小昱等以马铃薯缺陷面积为特征研究了马铃薯表面缺陷的机器视觉检测方法[13]，但其孔洞识别率有待提高。Zhou等人利用HSV空间的阈值分割法检测马铃薯绿皮特征，其分级准确率较低[14]。Noordam等利用线性判别分析和马氏距离建立了马铃薯表面缺陷的像素分类器，但无法解决其表面灰度不均匀对缺陷检测的影响[15]。马铃薯表面的芽眼和凹凸不平，给机器视觉检测其机械损伤带来很大干扰，导致基于像素级特征提取方法受光照条件和缺陷灰度值的变化影响较大，因此考虑尝试采用能表征图像低维度特征的流形特征检测马铃薯的机械损伤。1996年，Nayar等提出了高维的图像数据中具有低维流形的现象[16]，而人类认识事物主要是通过低维流形信息进行的，此后，流形学习开始广泛应用于人脸等[17-21]方面的识别。流形学习主要分为线性流形学习算法和非线性流形学习算法，非线性流形学习算法包括等距映射（isometric mapping，Isomap），局部线性嵌入（locally-linear embedding，LLE），拉普拉斯

246

农业工程学报 2014年

特征映射（laplacian eigenmaps，LE）等。而线性方法则是对非线性方法的线性扩展，如主成分分析（principal component analysis，PCA），多维尺度变换（multidimensional scaling，MDS）等。

虽然流形学习算法在人脸识别已有较广泛研究，但国内外未见有学者将流形学习方法应用于农产品外部品质检测，本文提出了基于流形学习算法的马铃薯机械损伤检测方法，首先利用基于视觉显著性（Saliency）和H维图像的马铃薯区域分割方法对马铃薯目标进行定位和分割，然后利用流形学习算法进行特征提取，并建立基于支持向量机（support vector machine，SVM）的马铃薯机械损伤分类模型，最后利用网格搜索法（grid search）、遗传算法（genetic algorithm，GA）以及粒群算法（particle swarm optimization，PSO）优化模型参数，确定最优模型，以期为流形学习算法应用于农产品外部机械损伤检测提供了参考。

1 试验设备

1.1 试验样本

选用武汉关山小区农贸市场采购的陕北定边紫花白马铃薯，样本集由50个正常马铃薯和50个机械损伤马铃薯构成，正常样本和机械损伤样本符合马铃薯等级规格（NY/T 1066-2006）[22]中的相关要求，并按照3:1的比例分为训练集（76个）和测试集（24个），样本参数如表1所示。

表1 马铃薯样本参数

Table 1 Parameters of potato samples

样本类型 样本数量 样本参数 均值 最大值 最小值Type Number Parameters

Average MaximumMin

质量/g

128.8 269.5 57.4 正常样本Normal

50个

长径/mm 68.8 92.6 45.2 短径/mm 61.6 80.0 44.6 厚度/mm 51.7 64.6 40.4 质量/g 140.2 283.1 58.5 长径/mm

70.9 102.6 51.2 机械损伤样本短径/mm

61.4 80.8 46.9 Mechanical 50个

厚度/mm 52.8 75.4 43.0 damage

机械损伤长度/mm 19.0 61.6 8.1 机械损伤宽度/mm

2.7 8.1 1.0

1.2 马铃薯视觉在线采集试验平台

马铃薯视觉在线采集试验平台如图1所示，主要由步进电机（型号为110BYG2501）、图像采集箱、工业相机（型号为scA1390-17fc）、图像采集卡（型号为Meteor2-1394）、主机（CPU为AMD750，内存为4G）、显示器（型号为LG-E2242）、环形光源（宏新三基色32W）、圆柱形托辊、摩擦板、链条、链轮等构成。

图像采集过程：马铃薯在圆柱形托辊上沿水平向左移动并自转，马铃薯进入图像采集箱后，程序自动采集多幅图像，每个马铃薯选择其中一幅图像作为图像样本。对于机械损伤样本，所选图像应为机械损伤面，而对于正常样本，则随机选择任意一面。最终由100副图像构成图像样本集，图像分辨率为1024×768，颜色空间为RGB，存储格式为BMP。

1. 工业相机 2. 环形光源 3. 图像采集箱 4. 圆柱形托辊 5. 摩擦板 6. 马铃薯 7. 链条 8. 链轮

1. Industrial camera 2. Ring light 3. Image capture box 4. Cylindrical roller 5. Friction plate 6. Potato 7. Chain 8. Sprocket

图1 马铃薯视觉在线采集试验平台

Fig.1 Online image acquisition platform of potatoes based on

machine vision

2 马铃薯区域分割

由于试验采用在线采集的马铃薯图像，因此图像中的托辊、链条和摩擦板对马铃薯的分割具有较大的干扰，利用基于灰度的分割方法效果不佳。对马铃薯RGB图像（图2a），利用最大类间方差法maximum between-cluster，OSTU）进行二值分割结果如图2b所示，，马铃薯区域分割不完整，且有较多其他噪声信号。

a. RBG图像 b. OSTU法分割结果

a. RBG image

b. Segmentation result of OSTU

图2 灰度分割法 Fig.2 Grayscale segmentation

为了有效地分割马铃薯区域，本文提出了一种基于视觉显著性（Saliency）和H维（色调）图像的马铃薯区域分割方法（简称Saliency-H法）。显著性（Saliency）是一种模拟生物体视觉注意机制的选择性注意模型，其利用图像的颜色、灰度、对比度和方向等信息模拟人类视觉体系，与单阈值分割相比，具有较好的分割效果[23]。该文采用基于图

（

第1期 汪成龙等：基于流形学习算法的马铃薯机械损伤机器视觉检测方法

247

论的视觉显著性算法（graph-based visual saliency，GBVS），并在Matlab软件平台下对Saliency-H法和基于H维的图像分割方法（简称H法）2种算法进行了仿真。

2.1 Saliency-H分割法

Saliency-H分割法具体算法步骤：1）RGB三通道图像中值滤波预处理（图3a）；2）RGB图像转Gray图像（图3b）；3）基于Gray图像的显著性分割；首先利用GBVS算法求得其显著图（图3c），对显著图利用OSTU方法进行二值化处理（图3d），得到初级目标区域掩膜图像（图3e）。将RGB图像（图3a）由初级目标区域水平方向向两侧各扩展50像素，垂直方向两侧扩展至边界处，得到包含马铃薯区域的二次分割图像（图3f）；4）GBVS显著性分割后的RGB图像转HSI空间（图3g）；5）H维图像滤波：14次3×3模板的均值滤波（图3h）；6）H维图像分割：最大类间方差法OSTU）分割，经过填充，8连通区域标记，连通区域面积筛选等操作得到最终的马铃薯区域分割图像（图3i），将得到的马铃薯区域图像水平方向扩展至原图像大小即得到最终分割图像（图3j）。

a. 中值滤波 b. 灰度图像 c. 显著图

a. Median filter

b. Grayscale images

c. Saliency map

d. OSTU分割 e. 掩膜图像 f. 初分割图像 d. OSTU e. Mask image

f. Initial segmented

segmentation

image

g. H维图像 h. 均值滤波 i. OSTU分割 j. 分割结果 g. H image

h. Mean filter

i. OSTU j. Segmentation

segmentation

result

图3 Saliency-H法 Fig.3 Saliency-H segmentation

2.2 基于H维的图像分割方法

H法具体算法步骤：1）RGB三通道图像中值

滤波预处理（图4a）；2）RGB图像转HSI颜色空间（图4b）；3）H维图像滤波：14次3×3模板的均值滤波（图4c）；4）H维图像分割：最大类间方差法（OSTU）分割，经过填充，8连通区域标记，连通区域面积筛选等操作得到最终的马铃薯区域分割图像（图4d）。

a. 中值滤波 b. H维图像

a. Median filter

b. H image

c. 均值滤波 d. 分割结果 c. Mean filter

d. Segmentation result

图4 H法 Fig.4 H segmentation

2.3 Saliency-H分割法和H法结果分析

对100个马铃薯图像分别使用以上2种方法进行图像分割，其结果如下：

1）Saliency-H法和基于H维的图像分割方法分割效果一致，2种方法的马铃薯区域分割准确率均达到100%，但Saliency-H法能在无监督模式下自动获取图像中马铃薯目标的位置信息。结果表明与H法相比，Saliency-H法具有较好的马铃薯区域定位（如图3e所示）效果。正常样本和机械损伤样本的分割效果如图5所示。

b. 机械损伤样本

c. 机械损伤样本H法

a. 机械损伤样本 Saliency-H法分割结果

b. Result of mechanical

分割结果 a. Mechanical damagedamage sample by

c. Result of mechanical Saliency-H segmentation

damage sample by H

method

segmentation method

e. 正常样本Saliency-Hf. 正常样本H法

d. 正常样本 法分割结果 分割结果 d. Normal

e. Result of normal f. Result of normal sample by Saliency-H sample by H segmentation method segmentation method

图5 机械损伤和正常样本2种方法的分割结果 Fig.5 Results of 2 segmentation methods for potato images

（

248

农业工程学报 2014年

2）Saliency-H法能去除部分无效信息，大大降低待分割图像的计算量。对100个马铃薯图像进行Saliency-H法分割，分割后的图像与原面积的比值如图6所示。结果表明，分割后图像（图3f）的数据量能压缩至原图像（图3a）数据量的0.2969～0.5322，有效的降低了后续算法处理的速度，提高了效率。

图6 Saliency-H分割后的图像与原面积的比值

Fig.6 Area division ratio of segmentation image and original

image by Saliency-H

3）Saliency-H法的分割速度优于基于H维的图像分割方法。由表2可知，Saliency-H法的分割速度优于H法。相比于H法，Saliency-H法中RGB图像转HSI空间和H维图像分割2个步骤Saliency-H法4和6步骤，H法2和4步骤）耗时均有较大幅度的降低。分析其原因在于Saliency-H法中的显著性（GBVS显著性）分割能对马铃薯目标定位，大大的降低了后续处理的计算量。

表2 Saliency-H法和H法的各步骤耗时结果 Table 2 Average elapsed time of Saliency-H and

H-dimensional segmentation

分割方法

步骤 平均耗时 Segmentation method

Step Average elapsed

time/ms 步骤1 54.6

步骤2 27.2 步骤3

97.0 Saliency-H法

步骤4 82.7 步骤5 24.8 步骤6 191.4 总耗时 477.7 步骤1 53.4 步骤2

197.3 H法

步骤3 37.9 步骤4 263.1 总耗时

551.7

3 马铃薯机械损伤的流形学习判别方法

流形学习算法可将图像中的高维信息降至低

维流形，能有效地提取全局特征变量，其前提是所处理的数据存在一个潜在的流形。本文使用了主成分分析（PCA）、等距映射（Isomap）和局部线性嵌入（LLE）3种流形学习方法结合Saliency-H图像分割法提取了马铃薯图像特征。

为了减弱马铃薯图像背景的干扰，减少图像集维数，提高处理速度，将马铃薯原始图像（图7a）通过Saliency-H法分割得到马铃薯区域图像（图7b），再利用最近邻插值法将其重采样为64×64像素大小的小尺寸图像（图7c）。将64×64的重采样图像转化为4 096列的一维向量（将64×64的矩阵按从左到右、从上到下的顺序展开至一维向量），最终得到100×4096的马铃薯图像数据矩阵F（共100个马铃薯样本）。

a. 原始RGB图像 b. 分割结果 c. 重采样图像a. Original RGB image

b. Segmentation

c. Resample result image

图7 马铃薯区域图像重采样

Fig.7 Resampling for the potato region images

利用主成分分析（PCA）、等距映射（Isomap）和局部线性嵌入（LLE）3种流形学习方法对马铃薯图像数据矩阵F进行特征提取，并建立不同特征维度的支持向量机（SVM）马铃薯机械损伤分类模型。然后，利用网格搜索法（grid search）、遗传算法（GA）以及粒群算法（PSO）优化马铃薯机械损伤分类模型的惩罚参数c和RBF核参数g，确定最优的特征维度，比较3种模型识别效果，确定最优的马铃薯机械损伤判别法。

3.1 PCA-SVM马铃薯机械损伤判别法

PCA是一种使用较广泛的线性降维方法，通过原始数据的线性组合构造方差最大的若干投影方向，从而降低原数据的维度。其对椭球状分布的样本集有较好的学习效果，但对具有非线性性质的样本集，却无法反应出非线性性质。算法步骤如下：

1）将N×N大小的图像数据转化为N 2个元素的一维向量I，建立K×N 2维的图像数据集样本集

可表示为X={I1, I2, I3… Ij ,j≤K}，

K为图像样本数。 2）求图像样本集的协方差矩阵C=

1∑K

(I?u)(IT

1

K

jj?u)，其中u=j=1

K∑K

I

j

，为图

j=1

像数据集的均值向量。

3）求出协方差矩阵C的前n个特征值λ1，λ2，

λ3…λn对应的特征向量Φ={φ1，φ2，φ3…φn，n≤K}。

（

1

2

  本文关键词：基于流形学习算法的马铃薯机械损伤机器视觉检测方法，由笔耕文化传播整理发布。

本文编号：147103