基于深度特征与手工特征融合的图像检索方法研究

发布时间：2021-01-17 16:37

　　本文提出一种将深度特征与传统手工特征进行融合的图像检索方法,并在相关图像数据集上验证该方法的有效性。首先,本文对深度全局特征进行研究。本文采用预训练的VGG16神经网络模型,并从中提取出瓶颈特征以及两个全连接层特征进行图像全局表示,并采用PCA降维,特征融合两种方式对其进行优化。其次,本文从同一个神经网络中提取出深度卷积特征。通过计算特征图的方差获取部件检测器并以此为基础计算空间权重,同时根据特征图稀疏程度为不同通道赋予不同权重。通过空间加权与通道加权的方法对卷积特征进行聚合,以获取全局图像表示,并与其他聚合方法进行检索对比,以显示该方法在图像检索上的优势。然后,本文针对传统手工特征进行编码。本文选择SIFT特征进行图像表示,然后利用VLAD方法对其进行全局化编码。在进行聚类获取码本的过程中,本文采用模糊聚类算法FCM替代传统的K-means聚类算法,并通过实验对比突出其优越性。而后对特征向量与聚类中心的残差进行累加,以获取图像特征的VLAD编码。接着本文提出一种将深度特征与手工特征进行融合的图像检索方法。将上述三种特征归一化后进行加权融合,并针对融合特征进行降维与白化处理。在进行图像... 

【文章来源】：东南大学江苏省 211工程院校 985工程院校 教育部直属院校

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

基于内容的图像检索发展历程

第一章绪论51.3论文研究内容及组织结构从图像检索的研究现状看来，目前研究的热点问题还是在于如何构建出具有更好图像表达能力的特征以提高图像检索的准确性。因此，本文旨在设计一种基于深度特征与传统手工特征融合的图像检索方法，并对其进行优化，以获取更好的检索准确性。方法主要包括以下部分：首先针对深度特征，利用VGG16预训练模型提取深度全局特征与深度卷积特征，并针对多层深度全局特征进行对比与优化，并设计了一种基于空间加权与通道加权的聚合方法对深度卷积特征进行聚合。然后针对传统手工特征，选择了SIFT特征并对其进行VLAD编码，在进行编码时，采用模糊聚类算法生成编码码本，以获取更优的编码效果。最后将深度特征与手工特征进行融合，并利用融合特征进行图像检索。模型框架如图1.2所示。图1.2本文图像检索方法框架本文的具体组织结构安排如下：第一章为绪论。主要介绍了图像检索方法的研究背景与现状。主要介绍了图像检索的发展与应用，以及基于传统手工特征的图像检索以及基于深度特征的图像检索的发展

东南大学硕士学位论文8图2.2神经网络模型其中对应变量的公式可以表示为：1(2)=(11(1)1+12(1)2+13(1)3+1(1))(2.1)2(2)=(21(1)1+22(1)2+23(1)3+2(1))(2.2)3(2)=(31(1)1+32(1)2+33(1)3+3(1))(2.3),()=1(3)=(11(2)1(2)+12(2)2(2)+13(2)3(2)+1(2))(2.4)其中()为激活函数，激活函数作为一个非线性函数，可以为神经网络增加非线性，以增加其深层抽象能力，便于对于复杂的数据分布进行学习与理解。神经网络一大特性就是利用梯度下降与反向传播进行网络训练与权值更新，例如需要对式（2.1）中的权重11(1)进行更新，需要计算代价函数L对其的梯度，计算过程如式（2.5）所示：11(1)=1(3)1(3)1(2)1(2)11(1)(2.5)然后，采用梯度下降法更新权重，批量梯度下降采用所有训练数据进行权重更新，计算如式（2.6）所示：11(1)=11(1)1∑()11(1)=1(2.6)其中，m为训练样本总数，为第i个样本，为学习率。与批量梯度下降法不同，随机梯度下降在迭代时只采用一个样本进行权重更新，这样有利于提高更新速度同时也可以防止陷入局部最优。计算方法如式（2.7）：11(1)=11(1)()11(1)(2.7)

【参考文献】：
期刊论文
[1]基于多尺度深度学习的商品图像检索[J]. 周晔,张军平.  计算机研究与发展. 2017(08)



本文编号：2983223