基于局部视觉信息的大规模图像检索研究

发布时间：2017-12-22 17:34

本文关键词：基于局部视觉信息的大规模图像检索研究　出处：《中国科学技术大学》2015年博士论文　论文类型：学位论文

【摘要】：随着信息技术的迅猛发展,数码产品的普及和因特网的深入人心。借助于计算机技术、网络技术和多媒体技术等,人们可以更加便捷地采集图像、视频等多媒体数据,还可以将这些数据与其他用户分享。整个互联网的多媒体数据以爆炸式增长,给人们带来了丰富的信息资源。为了便于人们快速地从海量的多媒体数据中获取其所感兴趣的信息,多媒体信息检索技术应运而生。图像作为一种重要的多媒体数据,已成为继文本之后,信息检索中最受关注的研究对象。由于图像数据本身的内容多样性和复杂性,基于给定的查询图像,如何从海量的图像数据之中查找到内容相关的图像是一个非常有挑战性的问题。其涉及到视觉信息的有效描述、大量数据的合理组织、高效率的查找方式等多方面的关键理论和方法。在基于图像内容的检索应用中,考虑的场景是给定一幅图像样例,在数据库中查找到与给定图像样例中内容相似或者局部相似的所有图像,并依据与给定图像样例之间的相似度,对检索到的图像进行排序。这是一种信号层的检索方法,在给定了局部视觉特征的描述之后,关键的地方在于如何在如此巨大的数据库中找到正确的局部特征之间的匹配,局部特征之间的匹配是指描述相同图像内容的局部特征。特征匹配的一个最直接的方法是进行特征描述子之间的两两欧式距离的计算。但是图像的局部视觉特征往往是一个高维度的向量,比如SIFT特征是128维的,在大规模的图像数据库中进行如此高维度的线性欧式距离计算是不可行的。本文的研究内容主要集中在基于局部视觉信息的图像检索上,包括视觉特征空间上下文环境描述子、SIFT特征可伸缩编码和交叉索引、局部视觉信息融合、以及更高效的图像表达。主要可以归纳为如下四点： 1.论文提出了一种描述局部视觉特征空间上下文环境的描述子。基于每个视觉特征与同一图像中其他视觉特征之间的空间位置特性,将特征的空间上下文关系分为两种：多模态特性和共生特性。多模态特性是指在同一空间位置同时出现不同尺度、不同方向的特征描述子；共生特性是指视觉特征与其他视觉特征同时出现在同一幅图像中。基于这两种视觉特征的空间上下文关系,首先生成一个高维描述子对其进行描述,其次为了便于快速比较,将生成的描述子二值化,用于局部特征匹配的校验。 2.论文提出了一种可伸缩的SIFT视觉特征二值化编码方法和一种提高查询特征查全率的交叉索引方法。为了对图像数据库进行索引,一般需要根据线下学习得到的视觉码本对视觉特征进行量化处理。聚类量化是解决这个问题的最常用方法,但是由于聚类的方法生成的视觉码本大小有限,视觉特征被量化得比较粗糙,量化后的区分度有限。而二值码的描述能力丰富,且距离可以采用逻辑异或运算得出,因此提出了一种描述SIFT特征幅值模式的二值化编码方式对视觉特征进行精细的量化。为了提高查询的查全率,根据聚类量化和二值量化的各自特性,本文提出了一种交叉检索聚类量化和二值量化索引结构的检索方法。 3.论文提出了一种联合视觉特征。由于一幅图像往往可以检测到数千个局部视觉特征,因此对于海量数据库而言,要处理的局部视觉特征的数目是非常巨大的。对于数目如此巨大的局部视觉特征,如果对每个视觉单独处理,对导致检索系统的复杂度非常高。为了降低检索系统的复杂度,需避免每个视觉特征单独处理,文中提出将视觉特征批量处理。每幅图像的局部视觉特征被重新组织成几十个联合特征组,采用生成的描述子对每个特征组进行统一描述,基于联合特征的独特性质,利用重构误差计算图像之间的相似度。为了加快检索速度,文中提出了一种分治法的索引算法。 4.论文提出了一种基于局部视觉信息的图像表达方式。如何将图像的视觉内容表达成向量的形式,是多媒体和计算机视觉问题中的一个基本问题。用局部特征构建图像的全局表达,可以继承局部特征对遮挡、尺度、平移、旋转等图像变换的鲁棒性。从局部特征生成全局特征的方法可以分为非概率模型和概率模型：在非概率模型中视觉特征量化后的残差向量起着至关重要的作用,文中深入研究了残差向量的分布对生成的全局特征的影响；与非概率模型相比,虽然概率模型有着更高的计算复杂度,但是它具有更完整的表达能力,文中也详细分析了概率模型生成的全局表达的特性。总而言之,本文重点研究了局部视觉信息用于检索信号层近似复制图像的各个方面,针对其中特定的问题提出了一系列新颖的算法,涵盖了空间上下文的描述、特征的二值化编码、特征的索引结构和查找方法、以及图像的表达等基础问题,大量的实验结果表明了这些算法的有效性。
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP391.41

【共引文献】