基于深度学习和模糊决策的苹果自动分拣方法研究

发布时间：2020-05-06 09:08

【摘要】：优质农产品的供应是全世界都在关注的问题。水果是世界上最重要的农产品之一,尤其在中国,是仅次于粮食作物的第二大种植产品,这其中苹果又是产量最大,分布最广的水果之一。中国的水果产量居世界首位,但单位产值远低于欧美发达国家,这种情况在其他发展中国家中也很常见。有时,由于质量问题,苹果的经济效益不能满足我们的要求。苹果的分类过程对产品的附加值有着重要的影响。传统的水果分级方法依赖于人类的感知,其中水果的质量如果实的果形、颜色、纹理、果面的损伤等指标必须通过人眼视觉检查和经验来判断。近年学者的研究也存在传感信息,分类方法以及动态性能等问题。由于检测和分级技术的落后,导致产品颜色大小不一,成熟度不同,产品质量良莠不齐,不能量化以及用可重复的方式确定。检测和分级技术的缺陷将严重影响产品的价值,并可能导致不符合出口标准和缺乏国际市场竞争力。包含传感,信号处理,特征提取和决策的先进技术会带来一种快速,准确,可重复的水果的自动分级方法。本课题的任务就是设计一种苹果自动分拣方法,达到无损检测和质量分级的目的。提出了一种基于先进传感(机器视觉和激光)、信号处理(图像处理)、特征提取(通过小波分析和信号熵等方法)多传感器信号融合以及基于深度学习与模糊算法的决策技术的苹果分级方法,使水果分级的速度、精度和可重复性得到显著提高,同时设计一种无损自动分拣机构,实现对于产品的快速检测和自动分拣,提高产品质量和消费者满意度,增加产品利润和市场竞争力。针对本课题的任务要求,设计了一种用于苹果分拣的实验平台,包括传动系统,传感系统,控制系统,和执行系统。传动系统选用普通三相交流电机驱动传送带,用变频器可以改变传送带速度。考虑到传感器的动态特性和信息的完整性,选择了机器视觉和结构光激光检测的方法来进行苹果的无损检测,二者分别可以检测苹果的二维信息(颜色/纹理/形状尺寸)以及三维信息(表面曲率变化)。选用光电开关来检测苹果的位置,选用同步轮编码器来检测传送带的速度以增加速度测量的准确性。为了在分拣时不破坏苹果,采用了高压气体喷射方式分拣苹果,空压机提供气源,电磁阀用于控制气路的通断,高压气体喷嘴喷射出高压气体。同时,利用该实验平台可以进行图像的获取:光电开关检测到苹果后发出信号给单片机,单片机控制CCD相机拍摄照片采集到计算机里面。对于采集到的图像,为了便于后面的特征提取与分类,设计了一系列图像预处理方法,包括图像增强,灰度化,二值化,边缘提取等。采用中值滤波方式去除图像的噪点。利用图像形态学运算(腐蚀运算,膨胀运算,开运算)进行图像分割和边缘提取。利用该图像获取系统获取了部分图像,并在MATLAB中进行图像预处理仿真实验,验证了所使用方法的有效性。对于经过预处理的图像,提出了苹果图像特征提取的方法。为了得到与苹果质量相关的颜色、纹理、形状以及三维信息,设计了基于颜色矩、小波变换、激光线提取等方法的特征提取方法。对于去除背景的苹果图像,计算其低阶矩就可以展示出苹果的颜色特征,其一阶矩和二阶矩对应苹果颜色的均值和方差。计算苹果图像二维小波变换各通道系数的能量值,得到各个方向的纹理特征。提取苹果图像的灰度共生矩阵,对得到的结果进行多方面的运算(如能量值,相关性,对比度,灰度熵等)可以体现苹果图像的纹理特征。对图像进行像素级计算以表达出苹果的尺寸特征(周长、面积、圆度、等效半径)。提出了一种窗口寻峰技术的激光线条提取方法,对提取出的激光线条中心进行像素点编码,计算局部半径大小和方向,可以得到苹果表面破坏情况。根据这些方法,在MATLAB中对经过预处理的带有不同特征的图像进行特征提取,验证了算法的有效性,得到了可以充分表达苹果质量的特征值。为了实现苹果的分级,分别介绍了基于卷积神经网络(CNN)和模糊神经网络(FNN)的分类方法,重点介绍了他们的基本原理和基本结构。模糊理论和人工神经网络技术是其中两个较为活跃的领域。卷积神经由一个或者多个卷积层、池化层以及全连接层组成,较于其他深度学习网络结构在二维数据的处理上具有明显的优势,在图像识别领域应用广泛。模糊系统则具有利用专家知识和推理的能力,它对结构化知识的处理比较有效。模糊神经网络正是模糊理论与神经网络相结合的产物,它具有推理、学习、联想和信息处理的强大能力,不仅能处理精确信息,也能处理苹果这种含有模糊信息的问题。分类器的输入数目如果过多,就会造成数据灾难,训练时间长,存储量达。为了减少FNN的输入,同时达到传感器融合的效果,设计了一种基于二维主成分分析(2DPCA)的传感器融合和数据降维的方法,将苹果图像的二维信息和三维信息进行融合,以达到综合分类的目的,文中具体阐述了基本思想和基本步骤。二维主成分分析是一种并行传感器特征层融合方法,既能保存有效信息,又能消除各信息之间的冗余。传统PCA是将所有特征值串联后进行降维,而2DPCA是将不同传感器或不同特征提取方法得到的特征向量组成特征矩阵在进行特征降维处理。为了验证本文提出的苹果分级方法的有效性,设计了苹果分拣的仿真实验。在超市中购买了几种价格不同的苹果,按照他们尺寸、颜色、纹理的不同分为4类,同时将一些表面损伤的苹果以及人为破坏一些苹果归为第五类。利用实验平台获取了1500张苹果图像和对应的激光图像。为了得到足够数量的数据集满足分类器的需求,利用旋转和平移的方法得到15000个数据,实现了数据的扩增。在基于TensorFlow的Keras中搭建了卷积神经网络的结构,包括卷积层、池化层、全连接层等。将数据集分为训练集、测试集、验证集三部分。采用最小批量梯度下降法(MBGD),用训练集和验证集不断训练神经网络,其训练准确率和验证准确率均达到100%,测试准确率达到99.33%。为了验证CNN传感融合的可行性,将苹果图像与激光图像拼接成一张图像并在Keras中训练,结果并不理想,主要原因是CNN对于细小变化不是很敏感。在MATLAB中进行了基于2DPCA和FNN的实验。将特征提取得到的特征向量组成矩阵并用2DPCA进行降维,得到四个特征值,累计贡献率超过99.9%。利用MATLAB平台中的自适应模糊神经网络(ANFIS)工具箱搭建了基于T-S模型的模糊神经网络的结构,确定了各个参数(输入数目,模糊规则数目,模糊函数等)。将2DPCA得到的特征值输入到FNN中进行训练,并用测试集进行测试。最终得到了99.7的训练准确率,99.8%的测试准确率。为了证明2DPCA的优势,同时应用了1DPCA作为对比。其四个特征值的累计贡献率为95.8%,训练集准确率为88.4%,但测试集准确率只有81.0%。不断修改参数也不能达到良好效果。实验结果表明,CNN在苹果彩色图像分类上具有明显效果,且不用进行提前特征提取,适合单一图像的分类问题,但所需数据量大且训练耗时较长。而2DPCA和FNN在传感融合与分类方面更具优势,不过需要事先进行特征提取和数据处理。其数据量少,训练时间短,特征结果更明晰。同时,相比于传统1DPCA,2DPCA在数据降维效率和传感融合方面都具有明显优势。前述所有实验结果证明了本文所提出的苹果分级方法的有效性和可行性。
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：S661.1;TP391.41;TP18

【相似文献】