基于神经网络和3D视觉的果园苹果识别与定位的研究

发布时间：2020-03-29 11:00

【摘要】：我国在果蔬种植方面具有很强的竞争力,但根据中国果业的发展特点和趋势,仍有一些亟待解决的问题,其中,水果采摘是整个行业中耗时最长,资金投入最多的步骤之一。目前中国的采摘工艺大部分是由人力资源完成的,然而随着人口老龄化和生产成本增加等问题的产生,迫切需要将基于人工智能的自动化技术广泛引入到果蔬采摘中。本论文对于采摘过程中果园苹果的识别和定位两个核心步骤进行了深入研究,完成的主要工作及得出的结论如下:(1)利用基于神经网络的目标检测网络进行苹果的识别。深入研究了 SSD(Single Shot Multibox Detector)算法原理,指出由于分类任务和定位任务的侧重点不同,所需要的特征性质也是不同的。针对这个问题,本文对SSD的网络结构进行改进,提出了 FSF-SSD(Feature-separate-fuse SSD)算法,在一定程度上将类别预测和位置预测两个任务分离,并对位置预测任务的特征图采用特征融合操作,结合上层语义信息和低层外观特征,使其获得更多的定位与细节信息。(2)利用双目立体视觉理论,在识别苹果的基础上定位其空间位置。论文在深入研究3D视觉理论基础上,设计一种与FSF-SSD算法相结合的立体匹配算法。算法依次计算待匹配图像中回归框与参照图像中各个回归框的IoU(Intersection over Union,交并比),得到在参照图像中与待匹配图像IoU最大的回归框序号,若两次得到的最大IoU回归框的序号相同,则匹配成功。在成功匹配的基础上利用视差法进行了苹果的定位并得到苹果中心点的三维坐标,从而为机械臂的抓取提供数据支持。(3)基于以上研究,本文进行了实验验证。对于果园苹果的识别,FSF-SSD算法的平均检测精度为95.25%,在SSD基础上提升了 2.31%。为了证明模型的迁移能力,本文还在Pascal VOC 2007公开数据集进行了验证,平均检测精度为74.92%,在SSD基础上提升了 1.03%。对于苹果定位环节,本文首先进行了匹配算法的验证工作,分析实验结果可以得出,对于遮挡较少的密集场景的匹配准确率达到97.8%,对于有部分遮挡的场景匹配准确率达到96.8%。最后在成功匹配的基础上进行视差法定位实验,分析实验结果可以得出,基于中心点坐标匹配的视差定位法精度可以满足机械臂的误差要求。至此,对果园苹果完成了精确识别、立体匹配和空间定位,这一全新的采摘方案为机械臂抓取提供了算法基础和数据支持,应用前景十分广阔。
【图文】：

结构图,结构图,卷积,隐藏层

进而在模式识别和图像分类领域应用十分广泛。逡逑一个卷积神经网络最简单结构包括输入层、隐藏层和输出层，其中隐逡逑藏层由卷积层和池化层组合而成，结构如图２－１所示。yL经网络的上一层逡逑神经元通过激活函数作用，映射到下一层神经元，每个神经元之间有相对逡逑应的权值，输出即为分类类别。逡逑＂＾１逦逦——［ｍｉ逦逦Ｗ逦ｉ逦逡逑人＿＿＾积＿＿，１邋＿＿＾化＿＿＾积一＿，Ｊ＿＿＾化？？？？？？邋＿＿Ｊ逡逑目巨逦幽逦巨巨幽逦问逦＾接逡逑＾１逦１＾１邋ｍｌ邋１＾１逦＼＾＼邋＼ｍ邋＼ｍ＼逦－逦层逡逑？逡逑＜—反向传播—？前向传播逡逑图２－１卷积神经网络结构图逡逑Ｆｉｇ．２－１邋Ｓｔｒｕｃｔｕｒａｌ邋ｓｃｈｅｍａｔｉｃ邋ｄｉａｇｒａｍ邋ｏｆ邋ＣＮＮ逡逑２．１．２隐藏层逡逑卷积层和池化层的叠加组合，构成卷积神经网络的隐藏层。逡逑卷积层是卷积神经网络ＣＮＮ的核心层之一，它的作用是用来提取图像逡逑特征，浅层卷积会提取到较为浅显的特征，如外观、线条和角度，随着卷逡逑积层数的增加，不断迭代之前提取到的特征，从而使深层卷积的特征更加逡逑抽象和复杂。卷积层中最重要的部分是卷积核参数

函数,梯度,激活函数,连续值

常见的激活函数如下：逡逑（１）邋ｓｉｇｍｏｉｄ函数。ｓｉｇｍｏｉｄ函数的作用是把输入的连续值变换为０和逡逑１之间的输出，如图２－２所示。Ｓｉｇｍｏｉｄ函数虽然能起到激活作用，但过多逡逑的网络层数易导致梯度爆炸甚至梯度消失。也正是由于这个原因，近年来，，逡逑ｓｉｇｍｏｉｄ的使用率越来越低，逐渐被其他性能更优异的激活函数代替。逡逑ｆ（＾）邋＝逦ｎ邋ｎ逡逑１－ｈｅ逦（１－１）逡逑ｓｉｇｍｏｉｄ逡逑逦逦逦邋ｆｏ邋？逦逦逦逡逑—Ａｃｔｉｖａｔｉｏｎ逡逑—Ｇｒａｄｉｅｎｔ逡逑－５－４－３－２－１０１２３４５逡逑图２－２邋ｓｉｇｍｏｉｄ函数及其函数梯度逡逑Ｆｉｇ．２－２邋Ｓｉｇｍｏｉｄ邋ｆｕｎｃｔｉｏｎ邋ａｎｄ邋ｉｔｓ邋ｇｒａｄｉｅｎｔ逡逑７逡逑
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP183;S225.93

【参考文献】