图像检索中的特征表达与排序研究

发布时间：2020-06-07 21:29

【摘要】：如今,移动终端的普及为图像获取提供了极大便利,海量存储空间与多样化传播途径使图像呈现爆炸性增长。在大规模图像库中,如何通过自动匹配,准确地检索目标图像,成为工业界和学术界共同关注的问题。本文针对图像的深度卷积神经网络视觉表征、相似度匹配排序中存在的问题,主要围绕三个方面开展了相关研究,创新成果如下:(1)针对预训练深度学习模型忽略几何关系的问题,提出了深度特征的几何信息增强算法。不同于以往的深度特征表达,本文在密集采样的图像块上提取深度特征,得到保留原图空间关系的深度特征;利用这种几何对应关系,将深度特征的邻接特征作为上下文信息,提出局部上下文聚合的几何信息增强算法来丰富特征表达的内容。为了强调关键几何区域的特征,本文还进一步提出了全局中心线加权的几何信息增强算法,根据特征位置与中心线的距离为深度特征赋予不同的权重。实验结果表明,所提深度特征的几何信息增强算法能增强特征鉴别力,提高图像检索准确率。(2)针对单层深度特征对图像描述局限性的问题,提出了多层特征融合的算法。现有的深度特征通常仅来自于卷积神经网络的某一层,为了充分利用图像不同层次的特征表达,本文利用多个码本分别进行特征量化,并结合汉明嵌入生成深度二值码。所提多层特征融合算法不仅能实现多层深度特征的融合,还能将深度特征与传统的SIFT特征相融合。此外,现有的特征融合算法往往没有考虑图像的个体差异,为了针对不同的查询分别进行特征融合,本文提出了局部相关的多特征关系图融合算法。该算法通过度量多特征分片关系图的一致性,可以自适应地计算对图像个体敏感的权重系数,且与其他基于扩散的图融合算法相比速度更快。实验表明,本文所提的两种融合算法均能够实现多特征的互补作用,有利于提高图像检索的性能。(3)针对图像检索匹配样本不均衡影响排序准确性的问题,提出了辅助点上下文建模的图像重排序算法。特征映射可以将度量空间等距同构地嵌入欧式空间,本文通过其反变换,实现在查询图像与其最近邻之间插入辅助点。这些辅助点可以丰富匹配矩阵的信息,有利于重排序的准确性。本文在插入辅助点的图像度量空间,利用上下文度量对匹配结果进行重排序。相比于成对的欧氏距离度量,基于杰卡德相似度的上下文度量能更深入地挖掘图像在潜在流形上的相似关系。实验结果表明,增加辅助点后的重排序能够提高检索准确度。
【图文】：

组织结构图,组织结构,图像检索,特征融合

加之图像内容的丰富性，使得图像之间的辨别与匹配难度加大，这就对图像检索的匹配逡逑排序提出了更高的要求。逡逑本文的主要研究如图１．３所示，针对预训练深度学习模型忽略几何关系、图像深度逡逑特征融合的局限性、图像检索匹配样本不均衡影响排序准确性等问题，开展了相关研究，逡逑包括：逡逑图像检索中的逡逑特征表达与排序研宄逡逑逦］邋［逦邋逦＾邋＾邋［逦逡逑预训练深度学习模型忽逦图像深度特征融合逦匹配样本不均衡影响排逡逑略几何关系的解决方案逦局限性的解决方案逦序准确性的解决方案逡逑逦逦邋厂邋人逦逦：：逦逡逑第２章逦第３章逦第４章逦第５章逡逑深度特征的逦局部相关的多特逦辅助点上下文建模逡逑几何信息增强逦Ｈ逦征关系图融合逦的图像重排序逡逑图１．３本文的组织结构逡逑Ｆｉｇ．邋１．３邋Ｓｔｒｕｃｔｕｒｅ邋ｏｆ邋ｔｈｉｓ邋ｄｉｓｓｅｒｔａｔｉｏｎ逡逑－１６－逡逑

检索数据库,图像,样本,图像尺寸

因此，，本文提出了一种基于图像规则采样的局部深度特征。逡逑由于ＶＧＧ１６的输入图像尺寸要求是２２４ｘ２２４，以往的算法通常是将图像缩放为逡逑２２４ｘ２２４的大小，然后将整幅图像输入网络提取特征。图２．２列出了来自不同图像库的逡逑一些例子，从图中可以看出，数据库中的图像尺寸和比例均不相同，改变图像比例会影逡逑响图像检索的效果。为了最大限度地保持图像的视觉观感，本章对图像进行缩放时保留逡逑原始的长宽比（Ａｓｐｅｃｔ邋Ｒａｔｉｏ）。给定一幅图像，尺寸为ＳｘＬ或ＬｘＳＵｓＬ）。首先将其统逡逑一缩放为短边长５且长宽比不变的大小，缩放比例为ｒｚＷＳ，图像的长边缩放为逡逑／邋＝邋ｒｘＬ。然后在图像上以固定的步长３２和大小为２２４ｘ２２４的滑动窗口来密集采样图像逡逑块，作为ＶＧＧ１６网络的输入。逡逑一W扁＿逡逑一＾基屻＃邋藤\l＿逡逑一邋ＥｉW＿W＿灥幽Ｉ逡逑图２．２来自于三个常用图像检索数据库的图像样本逡逑Ｆｉｇ．邋２．２邋Ｅｘａｍｐｌｅｓ邋ｆｒｏｍ邋ｔｈｒｅｅ邋ｐｏｐｕｌａｒ邋ｉｍａｇｅ邋ｒｅｔｒｉｅｖａｌ邋ｄａｔａｓｅｔｓ逡逑将网络最后一层卷积层（Ｃｏｎｖ５）的输出在每个通道（Ｃｈａｎｎｅｌ）上都分别进行最大池化逡逑（ｍａｘ－ｐｏｏｌｉｎｇ），形成深度特征的每一维逡逑／４邋＝ｍａｘｇ，Ｊ＞Ｊｔ，邋１＜Ａ：＜５１２逦（２．１）逡逑其中
【学位授予单位】：大连理工大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP391.41;TP183

【相似文献】