基于流形学习算法的马铃薯机械损伤机器视觉检测方法

  本文关键词：基于流形学习算法的马铃薯机械损伤机器视觉检测方法，由笔耕文化传播整理发布。

第 30 卷 2014 年

第1期 1月

农 业 工 程 学 报 Transactions of the Chinese Society of Agricultural Engineering

Vol.30 No.1 Jan. 2014

245

·农产品加工工程·

基于流形学习算法的马铃薯机械损伤机器视觉检测方法
汪成龙 1，李小昱 1 ，武振中 1，周 竹 2，冯耀泽 1
※

（1. 华中农业大学工学院，武汉 43007；

2. 浙江农林大学信息工程学院，临安 311300）

摘 要：针对马铃薯表面芽眼和凹凸不平的影响，使之马铃薯机械损伤难以检测的问题，该文提出了一种基于流 形学习算法的马铃薯机械损伤检测方法。首先利用马铃薯图像的显著图分割出马铃薯区域，然后利用主成分分析 （principal component analysis，PCA） 、等距映射（isometric mapping，Isomap）和局部线性嵌入（locally-linear embedding，LLE）3 种流形学习方法提取马铃薯区域图像特征参数，然后分别建立基于 3 种流形特征的支持向量 机 （support vector machine， SVM） 分类模型 PCA-SVM、 Isomap-SVM 和 LLE-SVM， 利用网格搜索法 （grid search） 、 遗传算法（genetic algorithm，GA）以及粒子群算法（particle swarm optimization，PSO）3 种模型参数优化方法， 优化支持向量机模型的惩罚参数 c 和 RBF 核参数 g，以建立最优分类模型，最后比较 3 种分类模型的识别效果， 确定最优分类模型。研究结果表明， PCA-SVM 分类模型对训练集识别率为 100% ，测试集识别率为 100% ； Isomap-SVM 分类模型对训练集识别率为 100%，测试集识别率为 91.7%；LLE-SVM 分类模型对训练集识别率为 100%，测试集识别率为 91.7%，表明 PCA、Isomap 和 LLE 3 种流形学习方法用于马铃薯机械损伤检测是可行的， 其中 PCA-SVM 分类模型检测效果最优。 关键词：机器视觉，识别，算法，流形学习，机械损伤，马铃薯 doi：10.3969/j.issn.1002-6819.2014.01.031 中图分类号：TP391.41 文献标志码：A 文章编号：1002-6819(2014)-01-0245-08 李小昱， 武振中， 等. 基于流形学习算法的马铃薯机械损伤机器视觉检测方法[J]. 农业工程学报， 2014， 汪成龙， 30(1)：245－252. Wang Chenglong, Li Xiaoyu, Wu Zhenzhong, et al. Machine vision detecting potato mechanical damage based on manifold learning algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(1): 245－252. (in Chinese with English abstract)

0

引

言

基于机器视觉的农产品表面缺陷检测和分级 方法国内外已有广泛研究[1-3]。水果方面，应义斌等 先后提出了傅里叶变换、区域增长法和最小外接矩 形法检测黄花梨的果形、表面缺陷面积和大小[4-6]， 并建立了基于机器视觉的黄花品质检测系统和水 随后又提出了一种水果表面亮 果实时分级系统[7-8]， 度不均校正算法，利用单阈值灰度分割法正确率达 到 97%[9]。马铃薯方面，高晓阳等提出了基于不变 矩的马铃薯形检测方法，薯形分选准确率为 96%[10]；郝敏等利用 Zernike 矩进行马铃薯薯形检 测 ， 薯 形 良 好 和 畸 形 的 检 测 准 确 率 达 93% 和 100%[11]，随后又提出边界点矩特征傅里叶描述子
收稿日期：2013-07-25 重点项目（2011CDA033） 作者简介：汪成龙（1986－） ，男，湖北荆州人，研究方向为智能化检 测技术。武汉 华中农业大学工学院，430070。 Email：181817906@qq.com ※通信作者：李小昱（1953－） ，女，教授，博士生导师，中国农业工 程学会高级会员 （E041200068S） ， 研究方向为智能化检测技术。 武汉 华 中农业大学工学院，430070。Email：lixiaoyu@mail.hzau.edu.cn 修订日期：2013-11-15

基金项目：国家自然科学基金项目（61275156） ；湖北省自然科学基金

检测马铃薯薯形，取得了较好的效果[12]，但两者均 未对马铃薯表面缺陷作相应研究。本课题组前期也 进行了马铃薯外部品质相关研究，李小昱等以马铃 薯缺陷面积为特征研究了马铃薯表面缺陷的机器 视觉检测方法[13]，但其孔洞识别率有待提高。Zhou 等人利用 HSV 空间的阈值分割法检测马铃薯绿皮 特征，其分级准确率较低[14]。Noordam 等利用线性 判别分析和马氏距离建立了马铃薯表面缺陷的像 素分类器，但无法解决其表面灰度不均匀对缺陷检 测的影响[15]。马铃薯表面的芽眼和凹凸不平，给机 器视觉检测其机械损伤带来很大干扰，导致基于像 素级特征提取方法受光照条件和缺陷灰度值的变 化影响较大，因此考虑尝试采用能表征图像低维度 特征的流形特征检测马铃薯的机械损伤。1996 年， Nayar 等提出了高维的图像数据中具有低维流形的 现象[16]，而人类认识事物主要是通过低维流形信息 进行的， 此后， 流形学习开始广泛应用于人脸等[17-21] 方面的识别。流形学习主要分为线性流形学习算法 和非线性流形学习算法，非线性流形学习算法包括 等距映射（isometric mapping，Isomap），局部线性 嵌入（locally-linear embedding，LLE），拉普拉斯

246

农业工程学报

2014 年

特征映射（laplacian eigenmaps，LE）等。而线性方 法则是对非线性方法的线性扩展，如主成分分析 （principal component analysis，PCA），多维尺度变 换（multidimensional scaling，MDS）等。 虽然流形学习算法在人脸识别已有较广泛研 究，但国内外未见有学者将流形学习方法应用于农 产品外部品质检测，本文提出了基于流形学习算法 的马铃薯机械损伤检测方法，首先利用基于视觉显 著性（Saliency）和 H 维图像的马铃薯区域分割方 法对马铃薯目标进行定位和分割，然后利用流形学 习 算 法 进 行特 征 提 取 ，并 建 立 基 于支 持 向 量 机 （support vector machine，SVM）的马铃薯机械损伤 分类模型，最后利用网格搜索法（grid search）、遗 传算法（ genetic algorithm ， GA ）以及粒群算法 （particle swarm optimization，PSO）优化模型参数， 确定最优模型，以期为流形学习算法应用于农产品 外部机械损伤检测提供了参考。

链条、链轮等构成。 图像采集过程：马铃薯在圆柱形托辊上沿水平 向左移动并自转，马铃薯进入图像采集箱后，程序 自动采集多幅图像，每个马铃薯选择其中一幅图像 作为图像样本。对于机械损伤样本，所选图像应为 机械损伤面，而对于正常样本，则随机选择任意一 面。最终由 100 副图像构成图像样本集，图像分辨 率为 1024×768，颜色空间为 RGB，存储格式为 BMP。

1
1.1

试验设备

1. 工业相机 2. 环形光源 3. 图像采集箱 4. 圆柱形托辊 5. 摩擦 板 6. 马铃薯 7. 链条 8. 链轮 1. Industrial camera 2. Ring light 3. Image capture box 4. Cylindrical roller 5. Friction plate 6. Potato 7. Chain 8. Sprocket

试验样本 选用武汉关山小区农贸市场采购的陕北定边 紫花白马铃薯，样本集由 50 个正常马铃薯和 50 个 机械损伤马铃薯构成，正常样本和机械损伤样本符 合马铃薯等级规格（NY/T 1066-2006）[22]中的相关 要求，并按照 3:1 的比例分为训练集（76 个）和测 试集（24 个），样本参数如表 1 所示。
表 1 马铃薯样本参数 Table 1 Parameters of potato samples
样本类型 Type 正常样本 Normal 样本数量 Number 样本参数 Parameters 质量/g 50 个 长径/mm 短径/mm 厚度/mm 质量/g 长径/mm 机械损伤样本 Mechanical damage 短径/mm 50 个 厚度/mm 机械损伤长 度/mm 机械损伤宽 度/mm 均值 Average 128.8 68.8 61.6 51.7 140.2 70.9 61.4 52.8 19.0 2.7 最大值 Maximum 269.5 92.6 80.0 64.6 283.1 102.6 80.8 75.4 61.6 8.1 最小值 Min 57.4 45.2 44.6 40.4 58.5 51.2 46.9 43.0 8.1 1.0

Fig.1

图 1 马铃薯视觉在线采集试验平台 Online image acquisition platform of potatoes based on machine vision

2

马铃薯区域分割

由于试验采用在线采集的马铃薯图像，因此图 像中的托辊、链条和摩擦板对马铃薯的分割具有较 大的干扰，利用基于灰度的分割方法效果不佳。对 马铃薯 RGB 图像（图 2a），利用最大类间方差法 （maximum between-cluster，OSTU）进行二值分割 结果如图 2b 所示，马铃薯区域分割不完整，且有 较多其他噪声信号。

a. RBG 图像 a. RBG image

b. OSTU 法分割结果 b. Segmentation result of OSTU

Fig.2

图 2 灰度分割法 Grayscale segmentation

马铃薯视觉在线采集试验平台 马铃薯视觉在线采集试验平台如图 1 所示，主 要由步进电机（型号为 110BYG2501）、图像采集 箱、工业相机（型号为 scA1390-17fc）、图像采集 卡 （型号为 Meteor2-1394） 、 主机 （CPU 为 AMD750， 内存为 4G）、显示器（型号为 LG-E2242）、环形 光源（宏新三基色 32W）、圆柱形托辊、摩擦板、

1.2

为了有效地分割马铃薯区域，本文提出了一种 基于视觉显著性（Saliency）和 H 维（色调）图像 的马铃薯区域分割方法（简称 Saliency-H 法）。显 著性（Saliency）是一种模拟生物体视觉注意机制 的选择性注意模型，其利用图像的颜色、灰度、对 比度和方向等信息模拟人类视觉体系，与单阈值分 割相比，具有较好的分割效果[23]。该文采用基于图

第1期

汪成龙等：基于流形学习算法的马铃薯机械损伤机器视觉检测方法

247

论的视觉显著性算法（graph-based visual saliency， GBVS），并在 Matlab 软件平台下对 Saliency-H 法 和基于 H 维的图像分割方法（简称 H 法）2 种算法 进行了仿真。 2.1 Saliency-H 分割法 Saliency-H 分割法具体算法步骤：1）RGB 三 通道图像中值滤波预处理（图 3a）；2）RGB 图像 转 Gray 图像（图 3b）；3）基于 Gray 图像的显著 性分割；首先利用 GBVS 算法求得其显著图（图 3c） ， 对显著图利用 OSTU 方法进行二值化处理 （图 3d），得到初级目标区域掩膜图像（图 3e）。将 RGB 图像（图 3a）由初级目标区域水平方向向两 侧各扩展 50 像素，垂直方向两侧扩展至边界处， 得到包含马铃薯区域的二次分割图像（图 3f）；4） GBVS 显著性分割后的 RGB 图像转 HSI 空间（图 3g）；5）H 维图像滤波：14 次 3×3 模板的均值滤 波（图 3h）；6）H 维图像分割：最大类间方差法 （OSTU）分割，经过填充，8 连通区域标记，连通 区域面积筛选等操作得到最终的马铃薯区域分割 图像（图 3i），将得到的马铃薯区域图像水平方向 扩展至原图像大小即得到最终分割图像（图 3j）。

滤波预处理（图 4a）；2）RGB 图像转 HSI 颜色空 间（图 4b）；3）H 维图像滤波：14 次 3×3 模板 的均值滤波（图 4c）；4）H 维图像分割：最大类间 方差法（OSTU）分割，经过填充，8 连通区域标记， 连通区域面积筛选等操作得到最终的马铃薯区域分 割图像（图 4d）。

a. 中值滤波 a. Median filter

b. H 维图像 b. H image

c. 均值滤波 c. Mean filter

d. 分割结果 d. Segmentation result

图4 H法 Fig.4 H segmentation

a. 中值滤波 a. Median filter

b. 灰度图像 b. Grayscale images

c. 显著图 c. Saliency map

Saliency-H 分割法和 H 法结果分析 对 100 个马铃薯图像分别使用以上 2 种方法进 行图像分割，其结果如下： 1）Saliency-H 法和基于 H 维的图像分割方法 分割效果一致，2 种方法的马铃薯区域分割准确率 均达到 100%，但 Saliency-H 法能在无监督模式下 自动获取图像中马铃薯目标的位置信息。结果表明 与 H 法相比，Saliency-H 法具有较好的马铃薯区域 定位（如图 3e 所示）效果。正常样本和机械损伤 样本的分割效果如图 5 所示。

2.3

d. OSTU 分割 d. OSTU segmentation

e. 掩膜图像 e. Mask image

f. 初分割图像 f. Initial segmented image

b. 机械损伤样本 Saliency-H 法分割结果 a. 机械损伤样本 b. Result of mechanical a. Mechanical damage damage sample by Saliency-H segmentation method

c. 机械损伤样本 H 法 分割结果 c. Result of mechanical damage sample by H segmentation method

g. H 维图像 g. H image

h. 均值滤波 h. Mean filter

i. OSTU 分割 i. OSTU segmentation

j. 分割结果 j. Segmentation result d. 正常样本 d. Normal

图 3 Saliency-H 法 Fig.3 Saliency-H segmentation

2.2

基于 H 维的图像分割方法 H 法具体算法步骤：1）RGB 三通道图像中值

e. 正常样本 Saliency-H f. 正常样本 H 法 法分割结果 分割结果 e. Result of normal f. Result of normal sample by Saliency-H sample by H segmentation method segmentation method

图 5 机械损伤和正常样本 2 种方法的分割结果 Fig.5 Results of 2 segmentation methods for potato images

248

农业工程学报

2014 年

2）Saliency-H 法能去除部分无效信息，大大降 低待分割图像的计算量。对 100 个马铃薯图像进行 Saliency-H 法分割，分割后的图像与原面积的比值 如图 6 所示。结果表明，分割后图像（图 3f）的数 据量能压缩至原图像（图 3a）数据量的 0.2969～ 0.5322，有效的降低了后续算法处理的速度，提高 了效率。

维流形，能有效地提取全局特征变量，其前提是所 处理的数据存在一个潜在的流形。本文使用了主成 分分析（PCA）、等距映射（Isomap）和局部线性 嵌入（LLE）3 种流形学习方法结合 Saliency-H 图 像分割法提取了马铃薯图像特征。 为了减弱马铃薯图像背景的干扰，减少图像集 维数，提高处理速度，将马铃薯原始图像（图 7a） 通过 Saliency-H 法分割得到马铃薯区域图像（图 7b），再利用最近邻插值法将其重采样为 64×64 像素大小的小尺寸图像（图 7c）。将 64×64 的重 采样图像转化为 4 096 列的一维向量 （将 64×64 的 矩阵按从左到右、从上到下的顺序展开至一维向 量），最终得到 100×4096 的马铃薯图像数据矩阵 F（共 100 个马铃薯样本）。

Fig.6

图 6 Saliency-H 分割后的图像与原面积的比值 Area division ratio of segmentation image and original image by Saliency-H

a. 原始RGB图像 a. Original RGB image

b. 分割结果 b. Segmentation result

c. 重采样图像 c. Resample image

3）Saliency-H 法的分割速度优于基于 H 维的 图像分割方法。由表 2 可知，Saliency-H 法的分割 速度优于 H 法。 相比于 H 法， Saliency-H 法中 RGB 图 像 转 HSI 空 间 和 H 维 图 像 分 割 2 个 步 骤 （Saliency-H 法 4 和 6 步骤，H 法 2 和 4 步骤）耗时 均有较大幅度的降低。分析其原因在于 Saliency-H 法中的显著性（GBVS 显著性）分割能对马铃薯目 标定位，大大的降低了后续处理的计算量。
表 2 Saliency-H 法和 H 法的各步骤耗时结果 Table 2 Average elapsed time of Saliency-H and H-dimensional segmentation
分割方法 Segmentation method 步骤 Step 步骤 1 步骤 2 步骤 3 Saliency-H 法 步骤 4 步骤 5 步骤 6 总耗时 步骤 1 步骤 2 H法 步骤 3 步骤 4 总耗时 平均耗时 Average elapsed time/ms 54.6 27.2 97.0 82.7 24.8 191.4 477.7 53.4 197.3 37.9 263.1 551.7

Fig.7

图 7 马铃薯区域图像重采样 Resampling for the potato region images

利用主成分分析（PCA）、等距映射（Isomap） 和局部线性嵌入（LLE）3 种流形学习方法对马铃 薯图像数据矩阵 F 进行特征提取，并建立不同特征 维度的支持向量机（SVM）马铃薯机械损伤分类模 型。然后，利用网格搜索法（grid search）、遗传算 法（GA）以及粒群算法（PSO）优化马铃薯机械损 伤分类模型的惩罚参数 c 和 RBF 核参数 g，确定最 优的特征维度，比较 3 种模型识别效果，确定最优 的马铃薯机械损伤判别法。 3.1 PCA-SVM 马铃薯机械损伤判别法 PCA 是一种使用较广泛的线性降维方法， 通过 原始数据的线性组合构造方差最大的若干投影方 向，从而降低原数据的维度。其对椭球状分布的样 本集有较好的学习效果，但对具有非线性性质的样 本集，却无法反应出非线性性质。算法步骤如下： 1）将 N×N 大小的图像数据转化为 N 2 个元素 的一维向量 I，建立 K×N 2 维的图像数据集样本集 K 为图像样本数。 可表示为 X={I1, I2, I3… Ij ,j≤K}， 2 ） 求 图 像 样 本 集 的 协 方 差 矩 阵
C= 1 K

∑ (I
j =1

K

j

? u)( I j ? u)T ，其中 u =

1 K

∑I
j =1

K

j

，为图

3

马铃薯机械损伤的流形学习判别方法
流形学习算法可将图像中的高维信息降至低

像数据集的均值向量。 3）求出协方差矩阵 C 的前 n 个特征值 λ1，λ2， λ3…λn 对应的特征向量 Φ={φ1，φ2，φ3…φn，n≤K}。

第1期

汪成龙等：基于流形学习算法的马铃薯机械损伤机器视觉检测方法

249

4）将马铃薯图像数据矩阵 F 去均值后向特征 向量空间 Φ 投影ψ = ( I j ? u)Φ ，其中 j≤K，得到 新的列为 n×N 2 的主成分特征向量 ψ。 按以上方法对 100 个样本进行 PCA 特征提取， 当主成分数量为 13 时， 主成分累积贡献率达到 80%； 当主成分数量为 50 时， 主成分累积贡献率达到 99%。 通常主成分累积贡献率达 95%即可，为了更为 准确的确定最优主成分数，分别提取 13～50 个主成 分特征（主成分累积贡献率为 80%～99%），将主 成分特征向量作为输入， 马铃薯的类别作为输出 （机 械损伤样本编码为 1，正常样本编码为-1），建立基 于 PCA 的马铃薯机械损伤的 SVM 分类模型（使用 libSVM 工具包），共建立 38 个 PCA-SVM 分类模 型 （主成分数为 13～50 个） ， 利用网格搜索法 （grid search）、遗传算法（GA）以及粒群算法（PSO）优 化分类模型惩罚参数 c 和 RBF 核参数 g，确定每个 分类模型的最优参数，比较 38 个分类模型的识别效 果，确定最优主成分个数和最优的分类模型。 3.2 Isomap-SVM 马铃薯机械损伤判别法 多维尺度变换（MDS）是一种构造样本之间欧 氏距离矩阵的线性降维方法， Isomap 是一种建立在 多维尺度变换（MDS）基础上的非线性降维方法， 其前提是所对应的低维等距子集为凸集，其关键在 于计算样本间的测地距离，通常将邻域内的点间测 地距离用欧氏距离代替，邻域外的点的测地距离用 最短路径来代替。 算法步骤如下：1）构造邻域点权重图 G，当 xi 和 xj 的欧氏距离小于固定值 δ 时，认为 G 有邻域 点 xi 和 xj，两邻域点权重为 d(xi,xj)。2）计算最短 路径，当权重图 G 有邻域点 xi 和 xj 时，设最短路径 否则设 dG(xi,xj)=∞。 设 l=1， …， dG(xi,xj)=d(xi,xj)； N，dG(xi,xj)=min{dG(xi,xj), dG(xi,xl)+dG(xi,xj)}， 得到最短路径距离矩阵 DG= d G xi , x j

的模型参数、嵌入维度数和分类模型。

Fig.8

图 8 Isomap 嵌入维度=1 的样本分布 Sample distribution of Isomap embedding dimension 1

3.3 LLE-SVM 马铃薯机械损伤判别法 局部线性嵌入 LLE 的前提是假设一个流形在 很小的局部邻域上可以近似看成欧式的，即局部线 性的，且只需在每个邻域求解一个小的线性方程 组，与 Isomap 相比，，其计算量更小，其嵌入结果 能保持原数据间的局部几何特征。算法步骤如下： 1）计算数据点的邻域。当 xi 和 xj 的欧氏距离 小于固定值 δ 时，认为 xi 和 xj 互为邻域点。 2） 通过最小局方差方法求解计算权重矩阵 W， 最小化目标函数为

ε (W ) = ∑ xi ? ∑ Wij x j
i =1 j =1

N

k

3）最小化以下表达式
2

Φ (Y ) = ∑ yi ? ∑ Wij y j
i j

[ (
2

)]

N

i , j =1

。3）利

求得 yi，i=1，2，…，n，为嵌入结果。 图 9 为 LLE 嵌入维度为 1 时的样本分布图。 表 明在该维度上， 机械损伤样本大部分分布于 0 以上， 正常样本大部分分布于 0 以下。

用最短路径距离矩阵 DG 和多维尺度变换（MDS）算 法求得原数据不同嵌入维度下的嵌入结果。 图 8 为 Isomap 嵌入维度为 1 的样本分布图。 表明在该维度上，机械损伤样本大部分分布于 0 以 上，正常样本大部分分布于 0 以下。 Isomap 嵌入维度过多会携带大量无效信息， 从 而导致模型识别率下降，因此，本文对 100 个样本 分别提取 1～100 维度 Isomap 特征值；将 Isomap 特征向量作为输入，马铃薯的类别作为输出（机械 损伤样本编码为 1，正常样本编码为-1），建立基 于 Isomap 的马铃薯机械损伤的 SVM 分类模型（使 用 libSVM 工具包），共建立 100 个 Isomap-SVM 分类模型，利用 3.1 中的参数优化方法，确定最优

Fig.9

图 9 LLE 嵌入维度=1 的样本分布 Sample distribution of LLE embedding dimension 1

250

农业工程学报

2014 年

为了避免 LLE 特征值携带大量无效信息， 本文 （维 对 100 个样本分别提取 1-100 维度 LLE 特征值 度过高会引入大量无用信息，从而导致模型识别率 下降）；将 LLE 特征向量作为输入，马铃薯的类别 作为输出（机械损伤样本编码为 1，正常样本编码 为-1），建立基于 LLE 的马铃薯机械损伤的 SVM 分类模型（使用 libSVM 工具包），共建立 100 个 LLE-SVM 分类模型，利用 3.1 中的参数优化方法，
Table 3
机械损伤判别方法 Mechanical damage identification method

确定最优的模型参数、嵌入维度数和分类模型。

4
4.1

结果与分析

3 种马铃薯机械损伤判别方法的识别结果 对 100 个样本（训练集 76 个，测试集 24 个） 利用 PCA-SVM、Isomap-SVM 和 LLE-SVM 3 种马 铃薯机械损伤判别方法进行检测，Matlab 软件平台 下的仿真结果如表 3 所示。

表 3 3 种马铃薯机械损伤判别法的识别结果 Recognition rate of 3 mechanical damage identification methods
特征 数量 Number of features

训练集 测试集 Training set Test set 误判个数 误判个数 识别率 Recognition 识别率 rate/% Recognition rate/% Wrong/个 Wrong/个 grid search 40 100 0 100 0 主成份分析-支持向量机 GA 28 100 0 95.8 1 PCA-SVM PSO 28 100 0 91.7 2 grid search 15 100 0 91.7 2 等距映射-支持向量机 GA 4 100 0 91.7 2 Isomap-SVM PSO 4 100 0 87.5 3 grid search 2 97.4 2 91.7 2 局部线性嵌入-支持向量机 GA 19 100 0 91.7 2 LLE-SVM PSO 19 100 0 91.7 2 注： PCA-SVM 为 principal component analysis (PCA)-support vector machine(SVM) ； Isomap-SVM 为 isometric mapping(Isomap) -support vector machine(SVM)；LLE-SVM 为 locally-linear embedding(LLE) -support vector machine(SVM)。下同。 参数优化方法 Parameter optimization method

对所建 38 个 PCA-SVM 分类模型进行优化后，3 种 参数优化方法所对应的 3 个最优 PCA-SVM 模型识别结 果如表 3 所示，比较识别结果得，最优参数优化方法为 grid search ，最优主成分特征数量为 40 ，其对应的 PCA-SVM 分类模型对训练集识别率为 100%， 测试集识 别率为 100%，最优模型参数 c=27.8576，g=0.0068。 对所建 100 个 Isomap-SVM 分类模型进行优化 后，3 种参数优化方法所对应的 3 个最优 Isomap-SVM 模型识别结果如表 3 所示，比较识别 结果得，最优参数优化方法为 GA，最优 Isomap 嵌 入维数为 4，其对应的 Isomap-SVM 分类模型对训 测试集识别率为 91.7%， 最优 练集识别率为 100%， 模型参数 c=27.8576，g=0.0068。 4.2 基于流形算法的马铃薯机械识别结果 对所建 100 个 LLE -SVM 分类模型进行优化 后，3 种参数优化方法所对应的 3 个最优 LLE-SVM 模型识别结果如表 3 所示， 比较识别结 果 得 到 最 优 LLE 嵌 入 维 数 为 19 ， 其 对 应 的
Table 4

LLE-SVM 分类模型对训练集识别率为 100%，测 试集识别率为 91.7%。在相同的识别效果下，为 避免惩罚因子 c 过大而造成的过学习，选择 c 较 小的那一组参数为最优模型参数，而 PSO 优化下 的参数 c 较小，则最优参数优化方法为 PSO，最 优模型参数 c=0.1000， g=18.8827。 PCA-SVM、Isomap-SVM 和 LLE-SVM 3 种马 铃薯机械损伤判别法所建分类模型的最优识别结 果如表 4 所示，3 种流形学习分类模型均能有效适 用于马铃薯机械损伤判别。但对机械损伤位于马铃 薯轮廓边缘的样本，Isomap-SVM 和 LLE-SVM 2 种 方 法 的 识 别 率 略 低 于 PCA-SVM ， 图 11 为 Isomap-SVM 和 LLE-SVM 2 种方法下误判的 2 幅 机械损伤位于轮廓边缘的马铃薯样本图像。比较 3 种分类模型的识别效果得到最优模型为 PCA-SVM 分 类 模 型 ，其 对 训 练 集和 测 试 集 的识 别 率 均 为 100%， 表明 3 种流形学习马铃薯机械损伤判别方法 中，PCA-SVM 为最优判别方法。

表 4 基于流形学习算法马铃薯机械损伤判别法识别结果 Recognition rate of mechanical damage identification method based on manifold learning algorithm
特征数量 Number of features 40 4 19 训练集 Training set 识别率 Recognition rate/% 100 100 100 误判个数 Wrong/个 0 0 0 测试集 Test set 识别率 Recognition rate/% 100 91.7 91.7 误判个数 Wrong/个 0 2 2

机械损伤判别方法 Mechanical damage identification method 主成份分析-支持向量机 PCA-SVM 等距映射-支持向量机 Isomap-SVM 局部线性嵌入-支持向量机 LLE-SVM

第1期

汪成龙等：基于流形学习算法的马铃薯机械损伤机器视觉检测方法

251

a. 误判样本 1 a. Misjudged sample 1

b. 误判样本 2 b. Misjudged sample 2

图 11 机械损伤位于轮廓边缘的马铃薯误判样本图像 Fig.11 Misjudged image of potato samples whose mechanical damage is nearby image contour

5

结

论

1）针对马铃薯表面芽眼、凹凸不平和光照不 均匀，以及托辊、链条和摩擦板等对马铃薯分割的 干扰问题，提出了基于视觉显著性（Saliency）和 H 维图像的马铃薯区域分割方法（Saliency-H 法）， 结果表明，与 H 法相比，Saliency-H 法能在无监督 模式下自动获取图像中马铃薯目标的位置信息，并 去除部分无效信息，大大降低待分割图像的计算 量，提高了马铃薯区域的分割速度。 2）针对马铃薯机械损伤部位不易分割的问题， 首次将流形学习应用于马铃薯机械损伤特征提取， 并提出了基于流形学习和支持向量机（SVM）的马 铃 薯 机 械 损 伤 判 别 方 法 ， 比 较 了 PCA-SVM 、 Isomap-SVM 和 LLE-SVM 3 种马铃薯机械损伤判别 法的识别效果，结果表明，3 种方法均能适用于马 铃薯机械损伤检测，其中 PCA-SVM 马铃薯机械损 伤判别法的识别效果最优，可达 100%。 3）采用 GridSearch、GA 和 PSO 3 种参数优化 方法能有效的优化 SVM 分类模型参数，从而确定 最优分类模型。
[参 考 文 献] 应义斌，饶秀勤，赵匀，等. 机器视觉技术在农产品 品质自动识别中的应用 （Ⅰ） [J]. 农业工程学报， 2000， 16(1)：103－108. Ying Yibin, Rao Xiuqin, Zhao Yun, et al. Application of machine vision technique to quality automatic identification of agricultural products (Ⅰ)[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2000, 16(1): 103－108. (in Chinese with English abstract). 应义斌，饶秀勤，赵匀，等. 机器视觉技术在农产品 品质自动识别中的应用研究进展[J]. 农业工程学报， 2000，16(3)：4－8. Ying Yibin, Rao Xiuqin, Zhao Yun, et al. Advance on application of machine vision technique to automatic quality identification of agricultural products[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2000, 16(3): 4－ 8. (in Chinese with English abstract) 庞江伟，应义斌. 机器视觉在水果缺陷检测中的研究 现状[J]. 农机化研究，2006(9)：47－49. Pang Jiangwei, Ying Yibin. Application of machine

[1]

[2]

[3]

vision for detection of defects on fruits[J]. Journal of Agricultural Mechanization Resarch, 2006(9): 47 － 49. (in Chinese with English abstract) [4] 应义斌，景寒松，马俊福，等. 黄花梨果形的机器视觉识 别方法研究[J]. 农业工程学报，1999，15(1)：198－202. Ying Yibin, Jing Hansong, Ma Junfu, et al. Shape identification of Huanghua pear using machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 1999, 15(1): 198－202. (in Chinese with English abstract) [5] 应义斌，景寒松，马俊福，等. 机器视觉技术在黄花 梨尺寸和果面缺陷检测中的应用[J]. 农业工程学报， 1999，15(1)：203－206. Ying Yibin, Jing Hansong, Ma Junfu, et al. Application of machine vision to detecting size and surface defect of Huanghua pear[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 1999, 15(1): 203－206. (in Chinese with English abstract) [6] 应义斌，王剑平，蒋焕煜，等. 水果直径和缺陷面积的机 器视觉检测[J]. 农业工程学报，2002，18(5)：216－220. Ying Yibin, Wang Jianpin, Jiang Huanyu, et al. Inspecting diameter and defect area of fruit with machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2002, 18(5): 216－220. (in English with Chinese abstract) [7] 应义斌，景寒松，马俊福，等. 黄花梨品质检测机器 视觉系统[J]. 农业机械学报，2000，31(2)：113－115. [8] 蒋焕煜，应义斌，王剑平，等. 水果品质智能化实时 检测分级生产线的研究 [J]. 农业工程学报， 2002 ， 18(6)：158－160. Jiang Huanyu, Ying Yibin, Wang Jianpin, et al. Real time intelligent inspecting and grading line of fruits[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2002, 18(6): 158－160. (in Chinese with English abstract). [9] 李江波，饶秀勤，应义斌，等. 水果表面亮度不均校 正及单阈值缺陷提取研究[J]. 农业机械学报，2011， 42(8)：159－163. Li Jiangbo, Rao Xiuqin, Ying Yibin, et al. Correction algorithm of illumination nonuniformity on fruit surface and defects extraction using single threshold value[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(8): 159－163. (in Chinese with English abstract) [10] 孔彦龙，高晓阳，李红玲，等. 基于机器视觉的马铃 薯质量和形状分选方法 [J]. 农业工程学报， 2012 ， 28(17)：143－148. Kong Yanlong, Gao Xiaoyang, Li Hongling, et al. Potato grading method of mass and shapes based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(17): 143－148. (in Chinese with English abstract) [11] 郝敏，麻硕士，郝小冬，等. 基于 Zernike 矩的马铃薯 薯形检测[J]. 农业工程学报，2010，26(2)：347－350. Hao Min, Ma Shuoshi, Hao Xiaodong, et al. Potato shape detection based on Zernike moments[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(2): 347－350. (in Chinese with English abstract) [12] 崔建丽，童淑敏，郝敏，等. 边界点矩特征傅里叶描述 的马铃薯薯形研究[J]. 中国农机化，2012(2)：59－62. Cui Jianli, Tong Shumin, Hao Min, et al. Study on shape of potatoes based on dividing point's proper of matrix's fourier descriptor[J]. Chinese Agricultural Mechanization, 2012(2): 59－62. (in Chinese with English abstract)

252

农业工程学报

2014 年

[13] 周竹，黄懿，李小昱，等. 基于机器视觉的马铃薯自 动分级方法[J]. 农业工程学报，2012，28(7)：178-183. Zhou Zhu, Huang Yi, Li Xiaoyu, et al. Automatic detecting and grading method of potatoes based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012,28(7):178-183. (in Chinese with English abstract). [14] Zhou L, Chalana V, Kim Y. PC-based machine vision system for real-time computer-aided potato inspection[J]. International Journal of Imaging Systems and Technology, 1998, 9(6): 423－433. [15] Noordam J C, Otten G W, Timmermans A J M, et al. High seed potato grading and quality inspection based on a color vision system[C]// Machine Vision Applications in Industrial Inspection, 2000, 3966(3): 206－217. [16] Nayar S, Nene S, Murase H. Subspace methods for robot vision[J]. IEEE Transactions on Robotics and Automation, 1996, 12(5): 750－758. [17] Tenenbaum J B, De S V, Langford J C. A global geometric framework for nonlinear dimensionality reduction[J]. Science, 2000, 290(5500): 2319－2323. [18] Zhu L, Zhu S A. Face recognition based on extended locally linear embedding[C]// IEEE Conference on Industrial Electronics and Applications，No. 4025860, 2006.

[19] Ge S S, Yang Y, Lee T H. Hand gesture recognition and tracking based on distributed locally linear embedding[C]// IEEE conference on Robotics, Automation and Mechatronics, No.4018822, 2006. [20] 郭志强，杨杰，柳步荫. 基于 WPT/PCA 的特征级融合人脸 识别方法[J]. 武汉理工大学学报，2009，31(17)：131－134. Guo Zhiqiang, Yang Jie, Liu Buyin. Feature fusion face recognition based on WPT and PCA[J]. Journal of Wuhan University of Technology, 2009, 31(17): 131－ 134. (in Chinese with English abstract) [21] 邓楠. 基于主成分分析的人脸识别研究[D]. 西安：西 北大学，2006. Deng Nan. Study on Face Recognition Based on Principal Component Analysis[D]. Xi’an: Northwest University, 2006. (in Chinese with English abstract). [22] NY/T 1066-2006，马铃薯等级规格[S]. [23] 高尚兵， 严云洋， 宗慧. 基于显著性区域的图像分割[J]. 微电子学与计算机，2011，28(10)：21－23，27. Gao Shangbing, Yan Yunyang, Zong Hui. Image segmentation based on salient region[J]. Microel Ectronics and Computer, 2011, 28(10): 21－23, 27. (in Chinese with English abstract).

Machine vision detecting potato mechanical damage based on manifold learning algorithm
Wang Chenglong1, Li Xiaoyu1 , Wu Zhenzhong1, Zhou Zhu2, Feng Yaoze1
※

(1. College of Engineering, Huazhong Agricultural University, Wuhan 430070, China; 2. Information Engineering College, Zhejiang Forestry University, Lin'an 311300, China)

Abstract: Buds and uneven surface of potatoes have caused problems to detect the mechanical damage based on machine vision. The lighting conditions and gray value changes of defect region have great impacts on the pixel level feature extraction. While manifold learning methods have been extensively studied in the face recognition, they have not been used for the external quality inspection of agricultural products. The manifold learning method is mainly divided into linear and nonlinear manifold learning algorithms. The nonlinear manifold learning algorithm includes isometric mapping (Isomap), locally linear embedding (LLE), laplacian eigenmaping (LE). The linear algorithm is extension of the nonlinear methods such as principal component analysis (PCA) and multidimensional scaling (MDS). In order to weaken the influence of the buds and uneven surface on potatoes mechanical damage detection, the image was characterized by using low dimensional manifolds. A mechanical damage detection method for potatoes was provided based on manifold learning. In this study, the Saliency and H images were firstly segmented on the potato regional image. The segmentation accuracies of both images are 100%. However, Saliency-H method can the potato’s location information of the image by unsupervised pattern was automatically obtained. In addition, Saliency-H method was faster (average elapsed time is 477.7ms) than H method with a high data compression rate. After the potato region images were resampled from 1024×768 to 64×64, the features of potato images were extracted from the resample images by using the three manifold learning methods: principal component analysis (PCA), isometric mapping (Isomap) and locally linear embedding (LLE). Thirdly, the three corresponding SVM classification models were developed based on their features. Finally the parameters of the models were optimized to develop corresponding optimal classification models by using the grid search method (grid search), genetic algorithm (GA) and particle swarm optimization (PSO). The best three classification models were obtained through comparing the recognition results of SVM classification models. Test results showed that the training set recognition rate of PCA-SVM classification model was 100%, the test set recognition rate was 100%. The best parameter optimization method was grid search, the best number of features was 40, the test parameter c was equal to 27.8576 g. The training set recognition rate of Isomap-SVM classification model was 100%, the test set recognition rate was 91.7%, the best parameter optimization method was GA, the best number of features is 4, the test parameter c was equal to 27.8576 g. The training set recognition rate of LLE-SVM classification model was 100%, the test set recognition rate was 91.7%, the best parameter optimization method was PSO, the best number of features is 19, the test parameter c equals 0.1000, g equals 18.8827. These results indicate that potatoes mechanical damage detection is feasible using three manifold learning methods including PCA, Isomap and LLE. PCA-SVM classification model is the best classification model. Key words: computer vison, identification, algorithms, manifold learning, mechanical damage, potatoes （责任编辑：张俊芳）

基于流形学习算法的马铃薯机械损伤机器视觉检测方法
作者： 作者单位： 刊名： 英文刊名： 年，卷(期)： 汪成龙， 李小昱， 武振中， 周竹， 冯耀泽， Wang Chenglong， Li Xiaoyu， Wu Zhenzhong， Zhou Zhu ， Feng Yaoze 汪成龙,李小昱,武振中,冯耀泽,Wang Chenglong,Li Xiaoyu,Wu Zhenzhong,Feng Yaoze(华中农业大学工学院 ,武汉,430007)， 周竹,Zhou Zhu(浙江农林大学信息工程学院,临安,311300) 农业工程学报 Transactions of the Chinese Society of Agricultural Engineering 2014(1)

参考文献(23条) 1.应义斌;饶秀勤;赵匀 机器视觉技术在农产品品质自动识别中的应用(Ⅰ) 2000(01) 2.应义斌;饶秀勤;赵匀 机器视觉技术在农产品品质自动识别中的应用研究进展[期刊论文]-农业工程学报 2000(03) 3.庞江伟;应义斌 机器视觉在水果缺陷检测中的研究现状[期刊论文]-农机化研究 2006(09) 4.应义斌;景寒松;马俊福 黄花梨果形的机器视觉识别方法研究[期刊论文]-农业工程学报 1999(01) 5.应义斌;景寒松;马俊福 机器视觉技术在黄花梨尺寸和果面缺陷检测中的应用[期刊论文]-农业工程学报 1999(01) 6.应义斌;王剑平;蒋焕煜 水果直径和缺陷面积的机器视觉检测[期刊论文]-农业工程学报 2002(05) 7.应义斌;景寒松;马俊福 黄花梨品质检测机器视觉系统[期刊论文]-农业机械学报 2000(02) 8.蒋焕煜;应义斌;王剑平 水果品质智能化实时检测分级生产线的研究[期刊论文]-农业工程学报 2002(06) 9.李江波;饶秀勤;应义斌 水果表面亮度不均校正及单阈值缺陷提取研究[期刊论文]-农业机械学报 2011(08) 10.孔彦龙;高晓阳;李红玲 基于机器视觉的马铃薯质量和形状分选方法[期刊论文]-农业工程学报 2012(17) 11.郝敏;麻硕士;郝小冬 基于Zernike矩的马铃薯薯形检测[期刊论文]-农业工程学报 2010(02) 12.崔建丽;童淑敏;郝敏 边界点矩特征傅里叶描述的马铃薯薯形研究[期刊论文]-中国农机化 2012(02) 13.周竹;黄懿;李小昱 基于机器视觉的马铃薯自动分级方法[期刊论文]-农业工程学报 2012(07) 14.Zhou L;Chalana V;Kim Y PC-based machine vision system for real-time computer-aided potato inspection 1998(06) 15.Noordam J C;Otten G W;Timmermans A J M High seed potato grading and quality inspection based on a color vision system 2000(03) 16.Nayar S;Nene S;Murase H Subspace methods for robot vision[外文期刊] 1996(05) 17.Tenenbaum J B;De S V;Langford J C A global geometric framework for nonlinear dimensionality reduction 2000(5500) 18.Zhu L;Zhu S A Face recognition based on extended locally linear embedding 2006 19.Ge S S;Yang Y;Lee T H Hand gesture recognition and tracking based on distributed locally linear embedding 2006 20.郭志强;杨杰;柳步荫 基于WPT/PCA的特征级融合人脸识别方法[期刊论文]-武汉理工大学学报 2009(17) 21.邓楠 基于主成分分析的人脸识别研究[学位论文] 2006 22.马铃薯等级规格 23.高尚兵;严云洋;宗慧 基于显著性区域的图像分割[期刊论文]-微电子学与计算机 2011(10)

引用本文格式：汪成龙.李小昱.武振中.周竹.冯耀泽.Wang Chenglong.Li Xiaoyu.Wu Zhenzhong.Zhou Zhu.Feng Yaoze 基于流形学习算 法的马铃薯机械损伤机器视觉检测方法[期刊论文]-农业工程学报 2014(1)



  本文关键词：基于流形学习算法的马铃薯机械损伤机器视觉检测方法，由笔耕文化传播整理发布。