基于迁移学习与深度卷积特征的图像标注方法研究

发布时间：2018-02-26 08:51

本文关键词： 图像自动标注深度学习卷积神经网络迁移学习特征学习多标签排序多源异构特征多核学习　出处：《浙江大学》2017年博士论文　论文类型：学位论文

【摘要】：随着移动互联网技术的快速发展,越来越多的图像信息被以数字方式存储到互联网上,图像已经成为文本之后又一个重要的网络信息载体。目前每天上传到网络上的图片数以亿计,面对如此海量的图像大数据,如何快速而准确的检索出所需要的图像资源是一个十分重要并且极具现实意义的研究课题。图像语义自动标注是基于文本的图像检索技术的核心研究内容,其本质是利用已标注的图像集自动学习语义概念空间与视觉特征空间的映射关系模型,并用此模型标注新图像。针对传统人工设计的视觉特征的局限性,以近年来深度卷积神经网络在图像处理领域所取得的成果为基础,并在互联网图像大数据的驱动下,本文主要围绕深度卷积神经网络的特征自学习能力如何在图像标注中被有效利用展开研究,重点关注深度卷积特征在图像单标签标注、多标签标注和多特征融合标注三方面的内容,主要工作概括如下:(1)针对特定应用领域数据集已标注图像样本数量不足的问题,利用相关领域的图像大数据集,提出了基于迁移学习的深度卷积特征学习方法。该方法主要针对规模不大,样本数量有限的特定领域数据集使用深度卷积神经网络时容易产生过拟合而导致无法训练与学习的问题;通过迁移学习的方法,首先利用互联网上的大型公共图像数据集对深度网络进行预训练,以学习图像的底层通用视觉特征;然后利用目标数据集对网络参数进行微调,进而学习图像的中高级视觉特征;最终的实验结果表明该方法使小规模图像数据集使用深度学习的方法成为可能,并且有效的提升了图像的分类与标注性能。(2)针对图像数据集中相似度较高的类别之间容易产生样本误分类的问题,基于迁移学习与精细分类的思想,提出了两级层次特征学习的图像分类与标注方法。通过对预分类实验数据的分析,实验表明大部分标注错误的样本都产生在相似度较高的图像类别之间;为了能够尽量减少相似样本的误分类数量,本文首先根据通用特征将具有较高相似度的图像类别划分到同一个子集;然后利用深度卷积神经网络的特征学习能力,提取相似度较高的图像类别之间的差异特征;最后整合通用特征与差异特征,进而提出了基于两级层次特征学习的图像标注方法,有效的提高了图像的标注精度。(3)针对多标签图像全局特征提取困难与表示能力不足的问题,通过修改网络的损失函数,提出了基于深度卷积特征的多标签图像排序方法。为了将深度卷积神经网络的特征自学习能力扩展到多标签图像标注任务中,本文修改了用于单标签分类的网络模型的损失函数,采用多项逻辑斯特损失以适应多标签图像数据,并重新训练了网络;最后提取到更具有全局特征表示能力的深度卷积特征,并基于该特征对图像多标签进行排序,从而更完整的标注了图像的语义信息。(4)针对图像大数据背景下,如何充分利用多源异构图像特征的问题,提出了基于多核学习的多特征融合图像标注方法。大数据时代的图像资源除了图像本身以外,通常还可以获取与图像相关的拍摄时间、位置、经纬度、高度、周边环境等信息;针对图像的语义标注任务,本文将与图像相关的描述性信息也转化为图像的基本特征之一,并与深度卷积特征相融合,提出了基于多核学习的多特征融合图像标注方法,实验结果表明该方法能够更充分和准确的反映图像的语义信息。
[Abstract]:With the rapid development of mobile Internet technology , more and more image information has been digitally stored on the Internet , and the image has become an important network information carrier after text . In order to extend the characteristic self - learning ability of deep convolution neural network to multi - label image annotation task , this paper proposes a multi - feature fusion image marking method based on multi - core learning .

【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2017
【分类号】：TP391.41

【相似文献】