基于对象语义的图像检索增强技术研究

发布时间：2018-04-14 04:40

本文选题：Web图像检索 + 查询对象挖掘　；参考：《南京大学》2014年博士论文

【摘要】：在互联网数据大爆炸的时代,搜索引擎正在并将继续对人们的日常工作、学习和生活产生巨大的影响。目前,以Google、Bing以及Baidu等为代表的商业搜索引擎,以文本信息检索技术为基础,在提供互联网信息检索服务方面获得了巨大的成功。但以文本关键词方式来检索图像的效果却难尽如人意,仍然有很大的提升空间。近年来,研究人员提出了很多针对基于关键词图像检索的增强技术,例如图像检索重排序,图像检索结果摘要和缩略图生成等等。然而这些技术仅仅使用了图像的一般性质,而没有考虑不同类别图像的特性。在处理对象查询关键词时,由于传统的图像整体表示和对象查询所需求的局部匹配特性不相容,检索效果提升受到了很大的限制。本文从基于关键词的图像检索应用特性入手,基于面向检索的图像对象语义分析技术,提出了一系列图像检索增强的技术方案,提高了图像检索结果的相关性排序、摘要、以及缩略图等的处理效果,有效提升了图像检索服务的质量。论文的主要工作和创新体现在以下几个方面：一、提出了一种面向检索的图像对象语义提取方法,有效解决了面向对象检索的图像语义挖掘问题。由于对象查询是当前基于关键词的图像检索中一个重要的查询类别,本文提出在基于关键区域的图像表示上利用查询对象挖掘技术挖掘潜在的对象类别,并且通过查询扩展的方式来构建以当前查询为中心的局部化语义空间。构建的检索对象词典有效地地支撑了后续检索增强技术,提升了Web图像检索的用户体验。二、提出了一种基于对象的语言模型风险最小化的图像搜索重排序方法,大幅提升了Web图像检索的结果相关性。虽然研究者们曾对图像搜索重排序提出一些有效的相关性假设,但是传统方法由于受到图像背景噪声的影响而使这些假设失去了应有的效果。因此,本文提出利用基于对象的语言模型来形式化重排序问题,以规避背景噪声的影响,并通过一种风险最小化的框架来生成重排序函数。这种排序框架的最大难点在于以文本表示的查询无法直接表示为对象语言模型。针对这个问题,本文在对象语义层面上对多个经典的相关性假设进行了解读,并基于这些假设对查询的对象语言模型进行预测。为使得所有的相关性假设能够互补,本文利用基于监督学习的重排序框架从人工标注的样本中归出用于集成不同假设的模型。在一个用于图像排序结果评测的数据集上该方法能够带来10%的MAP效果提升。三、提出了一种基于对象摘要性质优化的图像搜索结果摘要方法,弥补了传统摘要方法在处理对象查询结果摘要中的不足。图像搜索结果摘要的质量取决于多个因素,包括查询相关性,内容多样性和视觉吸引力等。虽然传统摘要方法能够在一定程度上满足这些性质,但是在对象查询上的摘要效果仍然不尽如人意。本文提出对象查询结果摘要的多样性具有多个粒度,并在此结论的基础上提出了一种基于非极大值抑制的对象类别选择方法。同时,本文基于图像美观度依赖于对象在图像中位置与大小的假设,设计了一个图像美观度的估计方法。本文将所有影响摘要质量的因素集成于一个概率松弛化后的优化框架中,并使用梯度下降以及贪心算法进行求解。通过用户调查对查询结果摘要质量的评估结果表明,本文提出的摘要方法能够获得最多的“最佳摘要”投票数量。四、提出了一种查询相关缩略图方法,解决了传统缩略图方法裁剪不精确以及无法有效处理多个前景对象的问题。面向对象查询的缩略图生成面临的最大困难不仅仅来自于裁剪方法判断前景对象在图像中的位置的精确度,更来自于传统裁剪方法无法准确提供与查询相关的裁剪结果。针对这两个问题,本文提出了基于对象字典的查询相关前景定位方法。在此基础上,本文提出了包括图像可裁剪性判别、裁剪边界扩展与调整、缺失背景填补等在内的完整解决方案,使得通过对象字典定位得到的对象包围盒能够转化为一个符合用户要求的裁剪结果。在针对缩略图质量进行评价的用户调查中,本文提出的缩略图生成方法能够获得最多的高质量缩略图评价。以搜索引擎作为支撑,开发出语义信息抽取方法,并“反馈式”地应用到搜索效果的提升之中是当前搜索引擎相关研究的一个新趋势。本文的工作开辟了一条新的思路,通过领域相关知识,针对性地优化某一类特定查询的检索效果。这种思路在后续对其它类型查询的研究中具有重要的参考价值。
[Abstract]:The search engine is and will continue to exert great influence on people ' s daily work , study and life in the age of large Internet data explosion .

Firstly , a retrieval - oriented semantic extraction method for image objects is proposed , which effectively solves the problem of image semantic mining of object - oriented retrieval . As an object query is an important category of query in image retrieval based on key words , this paper proposes to use query object mining technology to mine potential object categories based on key area image representation , and to construct localized semantic space centered on current query by query expansion . The constructed retrieval object dictionary effectively supports the subsequent retrieval enhancement technology and promotes the user experience of Web image retrieval .

This paper proposes an image search re - ordering method based on object - based language model risk minimization , which greatly improves the relevance of the results of Web image retrieval .

This paper presents a method of image search results based on object abstract property optimization . The quality of image search results is dependent on multiple factors , including query correlation , content diversity and visual appeal .

in ord to solve that problem that the traditional thumbnail method is not accurate and cannot effectively deal with a plurality of foreground objects , the maximum difficulty of the thumbnail generation of the object - oriented query is not only the precision of the position of the foreground object in the image from the cutting method , but also the cutting result which is related to the query cannot be accurately provided by the traditional clipping method .

Based on the search engine as the support , the semantic information extraction method is developed , and the " feedback " is applied to the promotion of search results . The work of this paper opens up a new idea , and optimizes the retrieval effect of a certain kind of specific query through relevant knowledge in the field . This thinking has important reference value in the future research on other types of queries .

【学位授予单位】：南京大学
【学位级别】：博士
【学位授予年份】：2014
【分类号】：TP391.41

【参考文献】