基于深度学习的田间多簇猕猴桃果实检测方法研究
发布时间：2020-07-11 22:28
【摘要】：在田间环境下,由于昼夜光照的多样性,猕猴桃果实与草、枯叶、枝干、果柄等复杂背景的颜色高度相似性,以及果实与果实之间存在大量毗邻与重叠现象,从而导致现有方法不能快速、准确地检测多目标,给田间环境下多簇猕猴桃自动检测带来很大挑战,严重地影响了多机械臂猕猴桃采摘机器人采摘任务的执行。因此本论文开展了基于深度学习的田间多簇猕猴桃果实检测方法研究,以期实现全天候多簇猕猴桃果实的快速有效检测。主要研究内容与结论如下:(1)构建不同的猕猴桃果实图像数据集。深入种植园区及查阅相关文献研究,分析确定利用竖直向上拍摄的方式来获取猕猴桃果实图像。图像采集时间的周期为白天与夜间,即上午、下午与夜间,夜间利用LED光源进行补光。由于初始收集的图像数据量有限,对收集的图像进行数据进行亮度变换、运动模糊、对比度增强与减弱以及增加高斯噪声数据等方法进行图像样本的扩增。针对不同的深度学习模型,本研究采用交互式标注与手工标注两种方法对猕猴桃数据集的果实区域进行标签的标注与绑定。最后将获得的猕猴桃数据集进行乱序排列,并按一定比例随机拆分成训练集和测试集。(2)基于LeNet卷积神经网络的多簇猕猴桃果实检测方法。首先参考已有的猕猴桃果实检测研究大多数是在白天进行,因此本章针对白天多簇猕猴桃果实图像进行检测研究。在LeNet卷积神经网络的基础上,通过引入批次规则化方法,以ReLU为激活函数,Max pooling为下采样方法,并采用Softmax回归分类器,对卷积神经网络结构及相关参数进行优化,构建适合多簇猕猴桃果实检测的卷积神经网络模型。通过试验验证,表明LeNet 网络对猕猴桃果实的检测率达到89.29%,且该算法相对相同环境下的常规猕猴桃检测方法提高了5.73%,且检测每幅图像需要的平均时间为15979 ms,检测每个果实的平均时间为270 ms,检测速度较其它常规算法速度快。但该算法对于遮挡和重叠果实没有达到很好的效果。(3)基于Faster R-CNN的多簇猕猴桃果实检测方法。由于机器人拥有全天候工作的优势,本章针对全天候多簇猕猴桃果实图像进行检测研究。该研究以综合表现良好的Caffe作为模型框架,选取ZF和VGG16作为Faster R-CNN模型的基础网络,然后利用迁移学习的方法初始化网络,并根据果实的信息优化模型相关参数。最后,利用训练样本对Faster R-CNN模型进行训练。试验结果表明,基于VGG16的Faster R-CNN模型平均检测每幅图像需要的时间为347 ms,模型大小为512 MB。它要比基于ZF的Faster R-CNN模型的平均检测速度(270 ms)慢77 ms,且模型整体相对较大,不易迁移到小型移动设备上。但基于VGG16的Faster R-CNN模型对测试集的平均检测精度为87.61%,高于基于ZF的Faster R-CNN模型的72.50%。从整体而言,基于VGG16的Faster R-CNN模型实现了端到端的检测,同时实现了全天候多簇猕猴桃检测的功能,精度达到87.61%,但由于基于VGG16的Faster R-CNN模型整体较大,因此无法满足小设备上的应用要求。(4)基于YOLOv3-tiny的多簇猕猴桃果实检测方法。为了实现全天候田间环境下猕猴桃果实快速、准确且测试模型轻小型的检测要求,本章改进了基于回归算法的YOLOv3-tiny模型。该研究通过加深网络模型、增大输入尺度、利用多尺度策略以及微调网络,提出一种快速准确的猕猴桃果实检测算法DY3TNet。试验结果表明,DY3TNet模型的平均精度为90.05%,模型权重为27 MB,平均每幅图像的检测速度为34 ms。将DY3TNet模型与其它四种深度学习模型(ZF,VGG16,YOLOv2和YOLOv3-tiny)对比,得出DY3TNet模型具有最优的性能。同时本试验还对不同类型数据集进行了对比试验,结果表明,对简单一致的光照条件、有补光图像以及图像扩增均可以提高DY3TNet模型的检测性能。总的来说,改进的DY3TNet模型对光线变化具有良好的鲁棒性,它在全天候田间环境下检测多簇猕猴桃时运行速度快,准确率高,应用于便携式设备上前景广阔。综上所述,本文针对白天与全天候田间多簇猕猴桃果实自动检测问题提出了可行的解决方案,在不同猕猴桃测试集上均取得了良好的试验效果。其中,基于YOLOv3-tiny模型改进的DY3TNet模型,在提高识别精度、保证实时性的同时实现了轻化模型的功能。该研究为实时、准确地检测田间多簇猕猴桃果实提供了一种新的思路和方法,为多机械臂猕猴桃采摘机器人提供了技术支撑。
【学位授予单位】：西北农林科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP18;S663.4
【图文】：
这类研究的普遍性不高。逡逑＿＿逡逑图１－１苹果采摘机器人逦图１－２柑橘采摘机器人逡逑Ｆｉｇ．邋１－１邋Ａｐｐｌｅ邋ｐｉｃｋｉｎｇ邋ｒｏｂｏｔ逦Ｆｉｇ．邋１－２邋Ｃｉｔｒｕｓ邋ｐｉｃｋｉｎｇ邋ｒｏｂｏｔ逡逑随着图像处理技术以及机器视觉技术的逐步发展，国内外先后研制出了多种智能逡逑３逡逑
利用光谱角分类算法实现了邋９６％的检测率６但由于外界环境因素对研究具有一定逡逑的影响，这类研究的普遍性不高。逡逑＿＿逡逑图１－１苹果采摘机器人逦图１－２柑橘采摘机器人逡逑Ｆｉｇ．邋１－１邋Ａｐｐｌｅ邋ｐｉｃｋｉｎｇ邋ｒｏｂｏｔ逦Ｆｉｇ．邋１－２邋Ｃｉｔｒｕｓ邋ｐｉｃｋｉｎｇ邋ｒｏｂｏｔ逡逑随着图像处理技术以及机器视觉技术的逐步发展，国内外先后研制出了多种智能逡逑３逡逑
逡逑化的果实摘机器人。图１－１为Ｚｈａｏ等（２０１１）研究的自然环境下苹果采摘机器人装董，逡逑它主要由机械手、末端执行器、视觉系统及由３：业计算机和交流伺服电机组成的控制逡逑系统等构成。通过实验室测试和野外实地试验证实了原型机器人装置的有效性，该机逡逑器人的苹果采摘成功率达到７７．０％，平均采摘一＊个果实时间约为１５．０邋ｓ。图１－２为胡友逡逑虽（２０１８）研制的柑橘采摘机器人，在重庆理工大学柑橘实验基地进行了邋２００组自然逡逑环境下柑橘果卖采摘实验，实验结]惚砻鞲酶涕俨烧魅瞬烧晒β剩福埃ィ习镥义铣晒Ρ苷下蚀锏剑叮埃ァｅ义希保玻澹蔡锛浠肪诚骡ê锾夜导觳夥椒ㄑ芯肯肿村义峡蒲校海套髡叨蕴锛浠肪诚碌拟ê锾夜档募觳饨辛松钊胙芯浚芴宸治讲糠郑义戏直鹗谴庸敌辈嗝婊袢⊥枷窠屑觳夂痛庸档撞渴毕蛏喜杉枷窠屑觳猓珏义贤迹保场ⅲ保此疚昧街址绞讲杉拟ê锾彝枷瘛ｅ义希拢保龋龋慑义贤迹保炒庸敌辈嗝婊袢〉耐枷皴瓮迹保创庸档撞渴毕蛏喜杉耐枷皴义希疲椋纾澹保冲澹桑恚幔纾邋澹簦幔耄澹铄澹妫颍铮礤澹簦瑁邋澹铮猓欤椋瘢酰邋澹螅椋洌邋澹铮驽澹妫颍酰椋簦箦澹疲椋纾澹保村澹桑恚幔纾澹箦澹簦幔耄澹铄澹妫颍铮礤澹簦瑁邋澹猓铮簦簦铮礤澹铮驽澹妫颍酰椋簦箦义隙杂诖有辈嗝婊袢〉拟ê锾彝枷
本文编号：2751012
【学位授予单位】：西北农林科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP18;S663.4
【图文】：
这类研究的普遍性不高。逡逑＿＿逡逑图１－１苹果采摘机器人逦图１－２柑橘采摘机器人逡逑Ｆｉｇ．邋１－１邋Ａｐｐｌｅ邋ｐｉｃｋｉｎｇ邋ｒｏｂｏｔ逦Ｆｉｇ．邋１－２邋Ｃｉｔｒｕｓ邋ｐｉｃｋｉｎｇ邋ｒｏｂｏｔ逡逑随着图像处理技术以及机器视觉技术的逐步发展，国内外先后研制出了多种智能逡逑３逡逑
利用光谱角分类算法实现了邋９６％的检测率６但由于外界环境因素对研究具有一定逡逑的影响，这类研究的普遍性不高。逡逑＿＿逡逑图１－１苹果采摘机器人逦图１－２柑橘采摘机器人逡逑Ｆｉｇ．邋１－１邋Ａｐｐｌｅ邋ｐｉｃｋｉｎｇ邋ｒｏｂｏｔ逦Ｆｉｇ．邋１－２邋Ｃｉｔｒｕｓ邋ｐｉｃｋｉｎｇ邋ｒｏｂｏｔ逡逑随着图像处理技术以及机器视觉技术的逐步发展，国内外先后研制出了多种智能逡逑３逡逑
逡逑化的果实摘机器人。图１－１为Ｚｈａｏ等（２０１１）研究的自然环境下苹果采摘机器人装董，逡逑它主要由机械手、末端执行器、视觉系统及由３：业计算机和交流伺服电机组成的控制逡逑系统等构成。通过实验室测试和野外实地试验证实了原型机器人装置的有效性，该机逡逑器人的苹果采摘成功率达到７７．０％，平均采摘一＊个果实时间约为１５．０邋ｓ。图１－２为胡友逡逑虽（２０１８）研制的柑橘采摘机器人，在重庆理工大学柑橘实验基地进行了邋２００组自然逡逑环境下柑橘果卖采摘实验，实验结]惚砻鞲酶涕俨烧魅瞬烧晒β剩福埃ィ习镥义铣晒Ρ苷下蚀锏剑叮埃ァｅ义希保玻澹蔡锛浠肪诚骡ê锾夜导觳夥椒ㄑ芯肯肿村义峡蒲校海套髡叨蕴锛浠肪诚碌拟ê锾夜档募觳饨辛松钊胙芯浚芴宸治讲糠郑义戏直鹗谴庸敌辈嗝婊袢⊥枷窠屑觳夂痛庸档撞渴毕蛏喜杉枷窠屑觳猓珏义贤迹保场ⅲ保此疚昧街址绞讲杉拟ê锾彝枷瘛ｅ义希拢保龋龋慑义贤迹保炒庸敌辈嗝婊袢〉耐枷皴瓮迹保创庸档撞渴毕蛏喜杉耐枷皴义希疲椋纾澹保冲澹桑恚幔纾邋澹簦幔耄澹铄澹妫颍铮礤澹簦瑁邋澹铮猓欤椋瘢酰邋澹螅椋洌邋澹铮驽澹妫颍酰椋簦箦澹疲椋纾澹保村澹桑恚幔纾澹箦澹簦幔耄澹铄澹妫颍铮礤澹簦瑁邋澹猓铮簦簦铮礤澹铮驽澹妫颍酰椋簦箦义隙杂诖有辈嗝婊袢〉拟ê锾彝枷
本文编号：2751012
本文链接：https://www.wllwen.com/nykjlw/yylw/2751012.html
