图像检索中自动标注、标签处理和重排序问题的研究

发布时间：2017-09-20 14:11

  本文关键词：图像检索中自动标注、标签处理和重排序问题的研究

  更多相关文章： 图像检索 图像标注 标签相关度学习 标签推荐 图像重排序 排序学习 结构化学习

【摘要】：近年来,随着数码拍照设备的普及以及网络和存储技术的发展,网络中图像的数量呈现出爆炸式的增长趋势。特别是伴随Web 2.0技术的出现,海量用户产生的图像得以通过社交分享网站(如Flickr和Instagram)被分享和传播。与此同时,互联网中图像资源的快速增长也催生了对高效的图像检索系统的需求。现有的商用图像检索系统需要依赖图像附加的文本信息来为用户提供检索服务。但是,人工进行图像标注的过程费时费力,因此自动图像标注技术受到图像检索领域的广泛研究。另一方面,对于社交分享网站中的图像,用户提供的标签往往不能准确且全面地描述图像的真实内容,因而也难以作为图像检索中可靠的索引关键字。因此,图像检索研究中的一项基础研究是来处理图像的标签信息,特别是提高标签对图像内容的描述能力。除此之外,由于仅利用了图像的文本信息,现有的图像检索系统返回的结果往往并不能令人满意。因此,如何基于图像的视觉信息对原始的检索结果进行重排序也是图像检索领域的重要问题之一。本文展开了一系列研究工作来提高当前图像检索系统的性能,详细讨论了图像标注、标签相关度学习、标签推荐和图像重排序这四个重要问题。论文的主要工作和创新性可以归纳为以下几个方面：(1)本文提出了一种新颖的图像标注方法,该方法同时改进了基于近邻的方法中的两个阶段。在近邻搜索阶段,不同于现有的方法通过预测距离来发现视觉近邻,我们介绍了一种面向排序的近邻搜索机制,采用排序学习框架来直接优化已标注图像相对于待标注图像的相对顺序,而非它们之间的绝对距离。在排序过程中,我们利用了已标注图像中隐含的偏序信息并强调高位置的排序结果的准确性。在关键词传递阶段,不同于现有的方法采用简单的启发式规则来选择传递关键词,我们介绍了一种基于学习的关键词传递策略,利用监督学习技术来学习一个可以评估候选关键词相关度的得分函数。关键词的相关度是根据它与待标注图像的视觉近邻之间的不同关系来决定的。在Corel 5K和MIRFlickr数据集上的大量实验证明了该方法的有效性。(2)本文提出了一种面向排序的标签相关度学习方法,该方法从排序学习的角度来解决标签相关度学习这一问题,并在学习过程中直接优化基于标签的图像检索的排序性能。具体来说,我们将监督学习的步骤引入到近邻投票策略中,该策略通过累积视觉近邻的投票来估计一个标签的相关度。通过明确地建模视觉近邻的权重以及标签之间的相关系数,我们的方法有效地避免了传统的非监督学习方法中进行启发式假设的风险。此外,我们的方法也解决了传统的监督学习方法中的可扩展性问题。通过在两个基准数据集上与其他先进的方法进行比较,我们证明了本文的方法的有效性。(3)本文提出了一种结合相关性和多样性的图像标签推荐方法。以往的图像标签推荐方法往往利用标签间的共现信息来进行标签推荐。但是,由于忽略了图像的视觉信息以及被推荐标签之间的语义多样性,以往方法的推荐结果常存在标签歧义和标签冗余的问题。为了解决上述问题,我们的方法在推荐时综合考虑了被推荐标签的相关性和多样性。首先,方法建模每一个标签的视觉语言模型,并利用它来分别计算标签和图像的相关性以及标签之间的视觉距离。然后,基于上述计算,我们提出了一个贪心选择算法来找到能合理地平衡相关性和多样性的标签集合,将该集合作为最终的推荐。在Flickr数据集上的实验表明,本文的方法在准确率、主题覆盖率和F1测度上均优于其他先进的方法。(4)本文提出了一种结合相关性和多样性的图像重排序方法,该方法是一个基于聚类的重排序方法,综合了已有的相互投票算法和贪心选择算法的优点。我们的方法利用相互投票算法在原始搜索结果中选择一些图像作为候选代表图像,并利用一个受限制的贪心选择算法来选择最相关且最有新鲜感的图像作为聚类中心。为了计算图像间相似度,我们结合了包括颜色、形状特别是潜在主题模型在内的多种特征,并详细讨论了结合不同特征的好处。我们在真实的Web图像数据集上对本文的方法进行评估,实验结果表明本文的方法可以从聚类召回率、NDCG和F1值等不同方面来提高用户满意度。
【关键词】：图像检索 图像标注 标签相关度学习 标签推荐 图像重排序 排序学习 结构化学习
【学位授予单位】：山东大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP391.41
【目录】：

• 摘要13-15
• ABSTRACT15-18
• 第1章 绪论18-24
• 1.1 研究背景18-20
• 1.2 本文的研究内容及意义20-21
• 1.3 本文的贡献及创新点21-23
• 1.4 本文的组织结构23-24
• 第2章 相关研究工作现状24-33
• 2.1 图像标注24-27
• 2.1.1 模型驱动的方法24-26
• 2.1.2 数据驱动的方法26-27
• 2.2 图像标签处理27-30
• 2.2.1 标签修正28
• 2.2.2 标签排序28-29
• 2.2.3 标签相关度学习29
• 2.2.4 标签推荐29-30
• 2.3 图像重排序30-32
• 2.3.1 相关性重排序30-31
• 2.3.2 多样性重排序31-32
• 2.4 本章小结32-33
• 第3章 本文涉及的基础知识33-45
• 3.1 图像视觉特征提取33-36
• 3.1.1 颜色直方图33
• 3.1.2 颜色矩33-34
• 3.1.3 颜色相关图34
• 3.1.4 可伸缩颜色描述子34
• 3.1.5 基于小波变换的纹理特征34
• 3.1.6 边缘方向直方图34-35
• 3.1.7 GIST特征描述子35
• 3.1.8 SIFT特征描述子35
• 3.1.9 视觉词袋模型35-36
• 3.2 视觉语言模型36-38
• 3.3 概率主题模型38-40
• 3.4 排序学习40-42
• 3.5 结构化支持向量机42-43
• 3.6 本章小节43-45
• 第4章 改进的基于近邻的图像标注方法45-69
• 4.1 概述45-47
• 4.2 面向排序的近邻搜索机制47-52
• 4.2.1 隐式偏序信息挖掘48-50
• 4.2.2 关注Top-K的排序算法50-52
• 4.3 基于学习的关键词传递策略52-58
• 4.3.1 联合特征表示53-55
• 4.3.2 基于Structural SVM的学习55-58
• 4.4 实验评估58-68
• 4.4.1 数据集58-60
• 4.4.2 评价指标60-61
• 4.4.3 参数设置61-63
• 4.4.4 与其他方法的比较63-65
• 4.4.5 方法组件的有效性65-67
• 4.4.6 计算时间花费67-68
• 4.5 本章小结68-69
• 第5章 面向排序的标签相关度学习方法69-91
• 5.1 概述69-71
• 5.2 标签相关度形式化推导71-74
• 5.2.1 视觉近邻搜索71-72
• 5.2.2 标签相关度函数72-74
• 5.3 面向排序的学习过程74-79
• 5.3.1 问题转换74-75
• 5.3.2 优化问题定义75-77
• 5.3.3 学习算法77-79
• 5.4 实验配置79-82
• 5.4.1 数据集79-80
• 5.4.2 评价方法及指标80-81
• 5.4.3 对比方法81-82
• 5.4.4 参数设置82
• 5.5 实验结果82-90
• 5.5.1 图像检索任务上的结果分析82-84
• 5.5.2 标签推荐任务上的结果分析84-85
• 5.5.3 训练效率比较85-86
• 5.5.4 模型参数带来的好处86-88
• 5.5.5 模型参数可视化88-89
• 5.5.6 潜在语义空间维度的影响89-90
• 5.6 本章小结90-91
• 第6章 结合相关性和多样性的图像标签推荐方法91-105
• 6.1 概述91-94
• 6.2 标签的相关性和标签间的视觉距离94-96
• 6.2.1 标签与图像的相关性94-95
• 6.2.2 标签间的视觉距离95-96
• 6.3 图像标签推荐方法96-98
• 6.3.1 标签集合的相关性与多样性96-97
• 6.3.2 推荐算法描述及时间复杂性分析97-98
• 6.4 实验评估98-104
• 6.4.1 实验设置98-100
• 6.4.2 评价指标100-101
• 6.4.3 实验结果分析101-104
• 6.5 本章小结104-105
• 第7章 结合相关性和多样性的图像重排序方法105-121
• 7.1 概述105-106
• 7.2 图像间距离计算106-107
• 7.3 图像重排序方法107-111
• 7.3.1 相互投票算法108-109
• 7.3.2 贪心选择算法109
• 7.3.3 图像重排序算法109-111
• 7.4 实验评估111-120
• 7.4.1 数据集获取111-113
• 7.4.2 实验细节113
• 7.4.3 评价指标113-114
• 7.4.4 参数选择114-116
• 7.4.5 实验结果116-120
• 7.5 本章小结120-121
• 第8章 总结与展望121-123
• 8.1 主要工作总结121-122
• 8.2 未来工作展望122-123
• 参考文献123-136
• 致谢136-137
• 攻读学位期间发表的学术论文目录137-139
• 攻读学位期间参与科研项目情况139-140
• 攻读学位期间获奖情况140-141
• 外文论文141-208
• 附表208

【参考文献】

中国期刊全文数据库 前1条

1 崔超然;马军;;一种结合相关性和多样性的图像标签推荐方法[J];计算机学报;2013年03期

，

本文编号：888519