图像检索中的特征学习和索引技术研究

发布时间：2020-07-07 02:50

【摘要】：图像检索的研究目标是从数据库中准确并快速地找到目标图像。伴随着互联网的发展和移动设备的普及,数据总量呈现出爆炸性的增长趋势。如何在海量数据搜索中提高搜索精度和搜索速度已经成为图像检索领域的重要研究课题。本文以图像检索为研究核心,针对特征学习和索引技术展开了深入的研究工作,论文包括以下创新性研究成果:·提出一种增强近邻可逆性的图像子空间学习方法,并应用于图像搜索图像任务。近邻可逆是指两幅图像互相处于彼此的近邻范围内,而具有近邻可逆性的两幅图像通常具有强相关性。通过在子空间学习中增强相关图像的近邻可逆性,图像特征的分布特性可以得到改善。实验结果表明该方法能够有效地提高图像搜索图像任务的搜索精度。·提出一种为卷积神经网络(Convolutional Neural Network,简称CNN)特征设计的倒排索引方法,用于提高利用CNN特征执行大规模图像搜索时的搜索速度。该方法联合多种策略改造倒排表使其能够适用于CNN特征,并利用哈希码替换嵌入码来进一步提高搜索精度和搜索速度。实验结果验证了该索引方法对大规模图像检索的有效性。·提出一种模态不变的图像-文本公共特征学习方法用于解决文本搜索图像问题。该方法利用梯度反转层连接特征网络和模态分类网络,并在训练阶段优化三元组损失的同时最小化对抗损失,从而缩小图像特征和文本特征在公共特征空间中的分布差距。实验结果验证了该方法对文本搜索图像和图像搜索文本任务的有效性。·提出一种语义一致的多视角跨媒体哈希(Multi-view Cross-Media Hashing with Semantic Consistency,简称MCMHSC)用于同时解决公共特征的学习和索引。MCMHSC的核心思想是将类别视为一个独立的视角,并在哈希函数的学习过程中引入数据与类别间的相关性信息,从而提高哈希码的类别一致性。实验结果证明了 MCMHSC与现有方法相比在搜索精度和时间复杂度上具有明显的优势。
【学位授予单位】：北京交通大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP391.41
【图文】：

社交,网站,单位,数据

当前环境下信息的表现形式是多样的。在互联网中，数据通常表示为四种媒逡逑体类型（或称作模态），包括图像、文本、视频和音频。尽管某些数据的媒体类逡逑型是不一致的，但是在高层语义上它们具有很强的关联性。如图１．１所示，当我逡逑们在网络上搜索“狗”这一信息时，我们会得到各种类型的数据。其中，数据可逡逑能属于相同模态，例如两幅狗的图像，我们称这样的数据为同构数据。数据也可逡逑能属于不同模态，例如一幅图像和描述该图像的一段文字，我们称这样的数据为逡逑Ｔｈｉｓ邋ａｒｔｉｃｌｅ邋ｉｓ邋ａｂｏｕｔ邋ｔｈｅ邋ｄｏｍｅｓｔｉｃ邋ｄｏｇ．邋Ｆｏｒ邋ｒｅｌａｔｅｄ邋ｓｐｅｃｉｅｓ邋ｋｎｏｗｎ邋ｏｓ邋＂ｄｏｇｓ＂，逡逑文本：邋ｓｅｅ邋Ｃｏｎｉｄｏｅ．邋Ｆｏｒ邋ｏｔｈｅｒ邋ｕｓｅｓ，邋ｓｅｅ邋Ｄｏａ邋（ｄｉｓｏｍｂｉａｕａｔｉｏｎ）．邋＂Ｄｏｇｇｉｅ＂邋ｒｅｄｉｒｅｃｔｓ逡逑ｈｅｒｅ．邋Ｆｏｒ邋ｔｈｅ邋Ｄａｎｉｓｈ邋ａｒｔｉｓｔ，邋ｓｅｅ邋Ｄｏａａｉｅ邋（ａｒｔｉｓｔ）．逡逑随：逡逑－－ｄｏｇ邋＆邋ｂ？ｆｃｙ逦Ｉ邋１邋Ｒｓｓｔ邋Ｏｆ邋Ｆｕｎ＾ｙＣｕＨｔｙ邋Ｄｏｎ邋Ｃｏｍｐｉｌａｔｉｏｎ邋２０邋＞４逡逑如瓶？邋Ｉｒ邋＊＃５＾逦／逦１逡逑ｖＶ＜－，ｃ，＇，＜ｓ！邋４＇：

相关图,可逆相,近邻,例子

其中是图像Ｉ的Ｋ近邻集合。这样两幅图像而和ｈ？具有／Ｃ－ＮＲ相关性逡逑便可以表示为Ｏｒ，，＃邋ｅ邋Ａ＾ｋ。逡逑与查询图像具有ＮＲ相关性的图像是正确结果的可能性会更高。在图３．１中逡逑我们列举了一个图像具有ＮＲ相关性的例子。我们首先展示了位于一幅查询图像逡逑的搜索结果中前８个位置的图像。之后对于这８幅图像，我们将它们在同一数据逡逑库中的８近邻图像罗列在它们的下方。我们观察到查询图像出现在一些被检索图逡逑像的８近邻中，也就是说这些图像是查询图像的可逆８近邻即它们与查询图像逡逑８－ＮＲ相关。同时从图３．１可以看出这些图像恰好是正确的查询结果。这个例子表逡逑明具有ＮＲ相关性的两张图像比没有ＮＲ相关性的两张图像更加相关。逡逑一些现有的方法［１１２－１１４］己经成功利用ＮＲ相关性来提高搜索准确率。这些方逡逑法会去修正数据库中每一对图像间的距离。在训练阶段结束后，每一幅图像和它逡逑的ＮＲ相关图像之间的距离将会变小，而与非ＮＲ相关图像的距离将会变大。对逡逑于一幅查询图像，由于与它关联的图像很大概率与它ＮＲ相关因此它们之间的距逡逑离会被缩小从而这些图像会更有机会排在检索结果的前列。通过这种方式，搜索逡逑精度会被显著地提高。然而，这些方法需要为每个数据库图像计算一个权重系数，逡逑因此当处理海量数据时这些方法将会产生巨大的计算成本。为了解决这个问题

流程图,空间学习,流程图,查询图

■纛逡逑巍冒必晒W■＿瓤逡逑图３．１图像近邻可逆相关的例子逡逑Ｆｉｇｕｒｅ邋３．１邋Ｅｘａｍｐｌｅｓ邋ｏｆ邋ｔｈｅ邋ｎｅｉｇｈｂｏｒ－ｒｅｖｅｒｓｉｂｉｌｉｔｙ邋ｃｏｒｒｅｌａｔｉｏｎ．逡逑其中是图像Ｉ的Ｋ近邻集合。这样两幅图像而和ｈ？具有／Ｃ－ＮＲ相关性逡逑便可以表示为Ｏｒ，，＃邋ｅ邋Ａ＾ｋ。逡逑与查询图像具有ＮＲ相关性的图像是正确结果的可能性会更高。在图３．１中逡逑我们列举了一个图像具有ＮＲ相关性的例子。我们首先展示了位于一幅查询图像逡逑的搜索结果中前８个位置的图像。之后对于这８幅图像，我们将它们在同一数据逡逑库中的８近邻图像罗列在它们的下方。我们观察到查询图像出现在一些被检索图逡逑像的８近邻中，也就是说这些图像是查询图像的可逆８近邻即它们与查询图像逡逑８－ＮＲ相关。同时从图３．１可以看出这些图像恰好是正确的查询结果。这个例子表逡逑明具有ＮＲ相关性的两张图像比没有ＮＲ相关性的两张图像更加相关。逡逑一些现有的方法［１１２－１１４］己经成功利用ＮＲ相关性来提高搜索准确率。这些方逡逑法会去修正数据库中每一对图像间的距离。在训练阶段结束后，每一幅图像和它逡逑的ＮＲ相关图像之间的距离将会变小，而与非ＮＲ相关图像的距离将会变大。对逡逑于一幅查询图像，由于与它关联的图像很大概率与它ＮＲ相关因此它们之间的距逡逑离会被缩小从而这些图像会更有机会排在检索结果的前列。通过这种方式，搜索逡逑精度会被显著地提高。然而

【相似文献】