基于弱监督学习的物体检测及其在图像分类中的应用

发布时间：2020-10-11 03:15

　　 物体检测,即对自然图像中的物体进行分类并找出物体位置包围盒,是计算机视觉中最基本的问题之一。它在实际问题中有着极为广泛的应用,如相机自动聚焦、自动驾驶、机器人导航、图像检索等。传统的物体检测需要使用大量有详细物体位置和类别标注信息的图像数据来进行训练。然而,收集这些详细的标注是十分费时费力的。与之相比,基于弱监督学习的物体检测(简称弱监督物体检测)只需要使用有图像级别标注信息(即标注图像是包含某种物体类别)的图像数据进行训练,而获取这些数据无疑更加容易,如从互联网上使用关键词搜索。因此,大量研究关注在弱监督物体检测。然而,由于自然图像的复杂性,包括物体大小、位置、视角、形状等的变化,以及物体位置标注的缺失,使得弱监督物体检测面临极大挑战。近年来,许多工作将弱监督学习中的经典方法多示例学习引入到弱监督物体检测中,并取得了很好的效果。此外,深度学习的进步极大地促进了计算机视觉的发展,并在弱监督物体检测中取得了突破。本文基于多示例学习和深度学习,对弱监督物体检测存在的问题展开一系列研究,并提出了三种不同的弱监督物体检测网络,其中第一种网络关注于将弱监督物体检测后两步进行端到端联合训练,第二种网络关注于如何更好地学习弱监督物体检测器,第三种网络关注于如何将候选区域提取步骤整合到网络中,且后面网络是前面网络的延伸和扩展。此外,本文还探索了弱监督物体检测的应用。本文的主要贡献有:(1)提出了一种深度区域学习算法以实现基于多示例学习的弱监督物体检测网络。该网络使用基于示例空间的多示例学习方法将候选区域分类结果进行聚合,使得网络可以直接使用图像级别标注作为训练目标;通过基于嵌入空间的多示例学习方法引入新的物体分类任务,并同时训练弱监督物体检测任务和物体分类任务,通过多任务学习来辅助弱监督物体检测;此外,该网络能对候选区域特征提取、候选区域分类、物体分类进行端到端联合训练。在PASCAL VOC 2007和PASCAL VOC 2012数据集上,该网络在弱监督物体检测上取得了高于之前多示例学习方法超过5%的性能,在图像物体分类上得到了高于之前方法约2%的性能。(2)提出了一种候选区域聚类学习算法。该算法对每张图像中的候选区域进行聚类,使得每个聚类对应于一个物体,并将不同聚类看成不同的多示例学习小包,对每个小包再使用基于示例空间的多示例学习方法来学习弱监督物体检测器。此外,该算法也与神经网络结合,能够对候选区域特征提取和候选区域分类进行端到端联合训练。该算法能极大改善之前方法倾向于检测局部物体的问题,并对复杂图像中的物体大小、位置、视角等变化鲁棒。在PASCAL VOC 2007/2012、ImageNet Detection、COCO数据集上,该算法取得了高于之前最好方法平均5%的弱监督物体检测性能。(3)提出了一种弱监督候选区域提取网络。该网络包含粗糙候选区域提取与候选区域重打分两个阶段,能在弱监督的情况下训练基于神经网络的候选区域提取器。此外,本文还将该网络与之前弱监督物体检测网络整合到一个统一的弱监督候选区域提取及物体检测网络中,使得弱监督物体检测的所有步骤能够通过一个网络完成,在弱监督物体检测中极具意义。在PASCAL VOC 2007/2012和ImageNet Detection数据集上,该网络都取得了高于之前方法超过2%的弱监督物体检测性能。(4)探索了弱监督物体检测在图像分类上的应用。本文将弱监督物体检测中的单模式学习拓展到多模式学习,以寻找每一类图像中多种共有的模式,并将这些模式作为词袋模型中的视觉词汇,从而得到图像表示,这些图像表示被用来作为图像分类器的特征输入。该方法在图像中的行为分类数据集Action 40、物体分类数据集Caltech101、场景分类数据集Scene 15、MIT-Indoor 67、SUN 397上都取得了很好的性能,其中,在行为分类数据集Action 40上,该方法取得了高于之前方法16.41%的性能。综上,本文基于多示例学习和深度学习,提出了一系列弱监督物体检测解决方案,并探索了弱监督物体检测在图像分类中的应用,为后续弱监督物体检测相关研究奠定了基础。
【学位单位】：华中科技大学
【学位级别】：博士
【学位年份】：2019
【中图分类】：TP391.41;TP181
【部分图文】：

华 中 科 技 大 学 博 士 学 位 论 文1 绪论1.1 选题背景随着移动终端及互联网技术的不断发展，人类社会已经进入信息化时代。目前，随着图像与视频的采集与传播越来越普及，每时每刻都有大量的图像和视频数据产生，网络上图像与视频等媒体数据呈指数级增长，图像和视频逐渐取代文本成为互联网上的主流内容。一方面，人们能够很方便快速地获取到大量图像视频信息，享受信息化带来的巨大便利；另一方面，图像视频数据的泛滥使人难以准确迅速地找到所需的信息。因此，如何组织管理海量的图像视频数据，使人能够快速地搜寻到所需的信息变得至关重要。

图 1.2 （a）传统的物体检测需要使用有详细标注信息的图像来进行训练；（b）基于弱监督学习的物体检测只需要使用有图像级别标注信息的图像来进行训练传统的物体检测需要使用有详细标注信息（即标注每个物体的位置包围盒和类别）的图像来进行训练，如图 1.2（a）所示。然而，对所有图像进行详细标注是非常费时费力的。与之相比，如图 1.2（b）所示，基于弱监督学习的物体检测（简称弱监督物体检测）只需要使用有图像级别标注信息（即不需要标注物体位置包围盒）的图像数据进行训练，而这些数据我们很容易就可以得到。例如，我们可以从互联网上使用关键词进行搜索获得图像，关键词即为对应图像级别标注。因此，研究基于弱监督学习的物体检测成为必要。

a）传统的物体检测需要使用有详细标注信息的图像来进行训练；（b）基于弱监物体检测只需要使用有图像级别标注信息的图像来进行训练的物体检测需要使用有详细标注信息（即标注每个物体的位置包像来进行训练，如图 1.2（a）所示。然而，对所有图像进行详细标的。与之相比，如图 1.2（b）所示，基于弱监督学习的物体检测（测）只需要使用有图像级别标注信息（即不需要标注物体位置包围行训练，而这些数据我们很容易就可以得到。例如，我们可以从互进行搜索获得图像，关键词即为对应图像级别标注。因此，研究基体检测成为必要。
【相似文献】

相关期刊论文 前10条

1 陶筱娇;王鑫;;基于深度学习算法的图像分类方法[J];微型电脑应用;2019年03期

2 李会民;马桂英;王延仓;;基于深度学习网络的水质图像分类[J];北华航天工业学院学报;2018年04期

3 彭娟;;特征选择和聚类分析的图像分类模型[J];现代电子技术;2017年19期

4 田凯;杜鹏;;基于C#的图像分类系统实现[J];数码世界;2017年08期

5 王科平;张志刚;;基于特征加权的自动图像分类方法[J];微型电脑应用;2014年01期

6 汪煜浩;华瑞林;;山地卫星图像分类制图方法研究[J];遥感信息;1987年04期

7 吴健;贾宏宇;;基于迁移学习的图像分类方法研究[J];河南科技;2018年31期

8 武慧琼;张素兰;张继福;胡立华;;一种基于三支决策的花卉图像分类[J];小型微型计算机系统;2019年07期

9 林泽文;;深度学习及其在图像分类识别中的运用探讨[J];信息与电脑(理论版);2018年12期

10 李舒;吴磊;;数据挖掘在医学图像分类中的应用[J];医学信息学杂志;2014年08期

相关博士学位论文 前10条

1 张璐;基于深度空间特征学习的极化SAR图像分类[D];西安电子科技大学;2019年

2 杨宝庆;基于字典学习的图像分类算法及应用研究[D];上海交通大学;2017年

3 唐芃;基于弱监督学习的物体检测及其在图像分类中的应用[D];华中科技大学;2019年

4 郑昱;面向大规模图像分类的层次化多任务学习算法研究[D];西安电子科技大学;2017年

5 郭雨薇;基于超像素表征和模糊特征学习的图像分类与识别[D];西安电子科技大学;2017年

6 李晓;基于迁移学习的跨域图像分类方法研究[D];西安电子科技大学;2017年

7 滑文强;小样本下的极化SAR图像分类问题研究[D];西安电子科技大学;2018年

8 张姝茵;基于判别性特征学习的极化SAR图像分类[D];西安电子科技大学;2018年

9 丁拥科;基于先验信息辅助的高分辨率SAR图像分类方法研究[D];上海交通大学;2017年

10 侯赛辉;图像物体的精细化分类方法研究[D];中国科学技术大学;2019年

相关硕士学位论文 前10条

1 梁泽志;基于CNN-ELM的冷冻电镜单颗粒图像分类研究[D];湘潭大学;2019年

2 邰旭鸣;基于深度学习的多标签图像分类系统设计与实现[D];南京师范大学;2019年

3 张烨;基于风格迁移的图像分类技术研究[D];哈尔滨工业大学;2019年

4 艾尔（ARERO WARIYO GODANA）;基于区域的卷积神经网络在SAR图像分类中的应用[D];哈尔滨工业大学;2019年

5 付琰;基于样本生成的多任务图像分类方法研究[D];哈尔滨工业大学;2018年

6 林开东;基于网络涉恐数据Logo识别技术的研究与实现[D];重庆邮电大学;2019年

7 万博洋;基于深度学习的烟雾检测算法研究[D];江西科技师范大学;2018年

8 李明;基于深度学习的工业图像分类与检测系统设计[D];西安工程大学;2019年

9 张宇维;城市排水管内窥图像分类与病害智能检测研究[D];广东工业大学;2019年

10 葛可适;基于神经网络和密度峰值聚类的单颗粒冷冻电镜图像分类技术研究[D];国防科技大学;2017年

本文编号：2835972