无人零售环境下的深度学习商品检测研究

发布时间：2020-05-07 17:04

【摘要】：线上电商在互联网和物流的普及下高速发展。然而经历了一段时间的高速发展后,传统电商近年来面临线上增长乏力等问题,已经进入瓶颈期,不得不在阿里巴巴提出的“新零售”背景下进行线上电商与线下销售结合的尝试,寻求突破。智能货柜是各大电商看好的发展方向,在尝试使用了非视觉解决方案后,随着深度神经网络在计算机视觉领域的重大突破,基于深度神经网络的视觉解决方案成为了智能货柜解决方案的研究重点。本文围绕智能货柜的静态视觉解决方案做了一定研究。主要工作如下:(1)对市面上最常用的静态视觉解决方案——利用基于深度神经网络的目标检测模型对货柜进行全监督商品检测的方法——进行了实验与分析。本文分别用目标检测性能最好的双步目标检测算法Faster R-CNN和单步目标检测算法YOLOv3在自己收集的真实货柜场景数据集上进行实验,并用自己提出的针对智能货柜商品检测准确性的评价方法对实验结果进行评估。实验中发现了这种方法虽然能通过对消费前后的两个时刻的货柜内商品进行完整检测来完成高精度的自动盘点、自动结算等功能,但是存在标注成本高、更新成本高、部署成本高等问题。(2)针对以上实验发现的问题,本文提出了一个新颖的成对图片差异检测算法DiffNet,该算法将孪生网络相似性度量学习的特性与目标检测算法相结合,对消费者消费前后两个时刻货柜内图像进行直接的差异检测,找到有差异的商品所在的位置,之后用一个商品分类模型对差异商品进行类型识别,即可完成智能货柜的自动结算等功能。以DiffNet为核心的智能货柜静态解决方案只用标注一对商品的差异位置包围框,标注成本远低于全监督目标检测;产品上新后只用更新分类模型,更新成本低;DiffNet和商品分类模型的部署对硬件要求比全监督目标检测低,部署成本低,且算法准确度与全监督目标检测方法相近,有较强的实际应用意义。总结来讲,论文针对无人零售环境下的商品检测问题首先实践了目前计算机视觉中的主流解决方案,然后主要针对其应用中标注成本高的问题,提出了一种新颖的差异识别深度神经网络,并取得了更加理想的应用效果。
【图文】：

过程图,目标检测,过程

图 1-1 目标检测过程目标检测的发展可以用深度学习的崛起时间来作为一个分水岭，用特征提取方式是人工手动提取还是深度卷积神经网络自动提取来分类，可以将目标检测分为传统方法和基于深度神经网络的方法两大类。深度学习方法介入前，传统目标检测方法的主流做法是区域选择、特征提取和分类回归三部曲，基于滑动窗口做区域选择的检测方法在很长一段时间内是表现最好的检测算法。对于外表接近刚性，即形状比较固定的物体，常见做法是使用滑动窗口搜索候选框，计算 SIFT[8]、HOG[9]、Haar[10,11]等快速特征，然后应用支持向量机[12]、随机森林[13]等分类器得到最终结果。对于外观表现为非刚性，，即形状变化比较大的物体，常采用 DPM(Deformable Part Model) 算法[14]，通过滑动窗口彻底搜索可能的位置、尺度和长宽比，然后提取特征进行分类，这也是深度学习应用在目标检测算法里之前表现最好的检测算法；一些目标识别领域的算法也能对非刚性物体的检测起到比较好的作用，例如 SPM[15]和 BoW 模型[15]等，这些算法由于计算特

整体结构,区域提取

图 2-1 Faster R-CNN 整体结构图Faster R-CNN 最突出的贡献在于提出了区域建议网络（Region ProposalNetwork,RPN），是一个简单的神经网络，取代了选择性搜索方法（Selective SearchSS），让区域提取的过程也能放入 GPU 中由神经网络实现，把候选区域提取的时间开销从 2s 降低到了 0.01s。作者还在 RPN 中首次提出了锚框（Anchor）的概念，锚框是大小和尺寸固定
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP183

【相似文献】