深度学习下细粒度级别图像的视觉分析研究

发布时间：2020-05-17 11:55

【摘要】：在传统计算机视觉研究中,图像分析的目标对象隶属类别通常是诸如“狗”、“车”和“鸟”等传统意义上的类别分类。而在许多实际应用中,图像对象往往来自某一传统类别下较细粒度级别的不同子类类别,如不同种类的“狗”:“哈士奇”、“阿拉斯加”、“比熊”等(或不同种类的“车”:“奥迪”、“宝马”、“奔驰”等;或不同种类的“鸟”:“灰海燕”、“绿头鸭”“信天翁”等)。细粒度级别图像分析是针对此类问题的一个计算机视觉领域研究方向,且是计算机视觉领域的热门研究课题,其目标是对上述细粒度级别图像中的物体子类进行定位、识别及检索等视觉分析任务的研究,具有真实场景下广泛的应用价值。然而因细粒度级别子类别间较小的类间差异和较大的类内差异,使其区别于传统图像分析问题成为更具挑战的研究课题。本文基于深度学习网络模型探索了细粒度级别图像分析问题,主要工作包括:1.基于选择性卷积特征描述子融合的细粒度级别图像检索:以往图像检索任务通常针对地标性建筑或通用类别物体,未考虑在细粒度类别场景下如何有效进行细粒度级别图像检索。提出首个基于深度学习模型的细粒度级别图像检索方法SCDA,通过使用开源的深度卷积神经网络预训练分类模型可做到无监督式的细粒度级别物体定位,进而根据定位结果筛选出有价值的卷积特征描述子并去除背景或噪声对应的卷积描述子的影响,之后将保留下的卷积描述子融合,最终以最近邻算法完成检索任务。实验结果显示出SCDA方法比现有传统图像检索方法有更优检索精度,同时证实了卷积描述子筛选机制的有效性。2.基于卷积特征描述子变换的物体协同定位:为进一步提高细粒度级别物体无监督式定位精度,与SCDA方法中仅考虑单张图像信息不同,我们指出应使用图像集合中图像之间的协同信息进行物体协同定位。提出DDT方法,同样利用预训练模型抽取卷积特征描述子,通过提出的特征变换算法衡量描述子之间的相关性进而将图像集合中的共同物体协同式定位出来。实验结果显示出DDT方法比现有其他物体协同定位方法具有更优的定位精度。3.基于卷积特征描述子筛选和融合的细粒度级别图像识别:以往细粒度级别图像识别方法均未考虑在识别过程中度量卷积特征描述子的重要程度,即筛选有价值的卷积特征描述子,以及去除无用甚至有害的卷积描述子。提出Mask-CNN方法,通过学习得到的物体和部件级别掩码可将卷积特征描述子进行合理筛选和权重分配,最终将全局的物体级别特征表示和局部的部件级别(头和躯干)特征表示级联完成识别过程。实验结果证实了Mask-CNN方法卷积描述子筛选机制的有效性以及物体部件定位的准确性。4.基于少量训练样本的细粒度级别图像识别:以往细粒度级别图像识别的深度学习方法均须大量数据驱动,当数据量不足时难以取得理想结果,有时甚至无法训练。首次提出和研究了细粒度级别图像识别的少量样本学习任务,并提出PCM方法,通过元学习方式训练从少量训练样本到其对应的类别分类器的映射函数,利用该映射函数可生成类别分类器并泛化到真实测试环境下的少量训练样本条件的细粒度级别图像识别任务。实验结果显示出PCM方法在少量训练样本条件下相对现有方法具有更优的细粒度级别图像识别精度。
【图文】：

图像识别,细粒度,级别

作图像分析中的两项基本问题。在传统计算机视觉研究中，图像分析的目标逡逑对象隶属类别通常是诸如“狗”、“鸟”和“橘子”等传统意义上的类别分类（见逡逑图１－１）。该情形下，不同类图像间的差异较大，相对而言同类图像间的差异逡逑则较小。而在许多实际应用如生态保护（ｂｉｏｌｏｇｉｃａｌ邋ｐｒｏｔｅｃｔｉｏｎ）场景中，图像对象逡逑往往来自某一传统类别下较细粒度级别的不同子类类别，如识别不同种类的珍逡逑稀鸟类、从濒危鸟类数据库中检索某种鸟类图像等等。又如，现实生活中我们逡逑会看到不同种类的狗，但若不是犬类专家则很难区别不同子类的狗。细粒度级逡逑别图像分析（ｆｉｎｅ－ｇｒａｉｎｅｄ邋ｉｍａｇｅ邋ａｎａｌｙｓｉｓ）便是针对此类问题的一个计算机视觉领逡逑域研究方向，且是计算机视觉领域的热门研究课题，其目标是对细粒度级别图逡逑像中的物体子类进行定位、识别及检索等视觉分析任务的研究，具有真实场景逡逑下广泛的应用价值。不过，，因细粒度级别子类别间较小的类间差异和较大的类逡逑内差异

特征图,字符识别,神经认知机,卷积

的神经认知机模型中，两种最重要的组成单元是“Ｓ型细胞”（Ｓ－Ｃｅｌｌｓ）和“Ｃ型细逡逑胞”（Ｃ－ｃｅｌｌｓ），两类细胞交替堆叠在一起构成了神经认知机网络。其中，Ｓ型细逡逑胞用于抽取局部特征（ｌｏｃａｌ邋ｆｅａｔｕｒｅｓ），邋Ｃ型细胞则用于抽象和容错，如图２－１所逡逑示，不难发现这与现今卷积神经网络中的卷积层（ｃｏｎｖｏｌｕｔｉｏｎ邋ｌａｙｅｒ）和汇合层逡逑（ｐｏｏｌｉｎｇ邋ｌａｙｅｒ）可一一对应。逡逑醇Ｉ逡逑图２－１：邋１９８０年福岛邦彦提出的神经认知模型ｌ１７］。逡逑随后，Ｙａｎｎ邋ＬｅＣｒｎｉ等人在１９９８年提出基于梯度学习的卷积神经网络算逡逑法１４＇并将其成功用于手写数字字符识别，在那时的技术条件下就能取得低于逡逑１％的错误率。因此，ＬｅＮｅｔ这一卷积神经网络便在当时效力于全美几乎所有的逡逑邮政系统，用来识别手写邮政编码进而分拣邮件和包裹。可以说，ＬｅＮｅｔ是第逡逑一个产生实际商业价值的卷积神经网络，同时也为卷积神经网络以后的发展奠逡逑定了坚实的基础。逡逑Ｃ３邋：逦Ｓ４邋：逡逑Ｃ１邋特征图：逦１６＠１０ｘｌ０邋１６＠５ｘ５逡逑６＠２８ｘ２８逦．邋ｉｐｉｔｅ逦＇ｓ．逡逑二邋＞逡逑＂＊邋Ｉ邋ｍＫＫｔｔｍ逦？邋ｉ邋１逦Ｉ．—连接操作逡逑卷积操作逦降采样邋卷积操作逦降采样全连接操作逡逑图２－２：邋ＬｅＮｅｔ－５结构＠１：邋一种用于字符识别的卷积神经网络。其中，每一个“矩形”代表一逡逑张特征图（ｆｅａｔｕｒｅ邋ｍａｐ）
【学位授予单位】：南京大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP391.41;TP181

【相似文献】