基于哈希学习的跨媒体检索关键技术研究及系统实现

发布时间：2018-04-10 06:23

本文选题：最近邻检索　切入点：哈希学习　出处：《山东大学》2017年硕士论文

【摘要】：近年来,伴随着科技的快速发展,各种媒体类型的数据有了海量式的增加,我们称之为"大数据"。用户对多媒体数据的检索需求也变得多样化,以往人们可以通过搜索引擎如百度、谷歌或必应等快速和便捷地检索大量的多媒体数据(如文本,图片,音频和视频),并拿来进行数字娱乐。但是我们发现,这种检索方式比较单一化,它只能检索某一种媒体类型的数据,比如文本只检索文本,图片只检索图片。现如今,人们更多的关注于不同的媒体类型之间互相检索,对多个媒体类型数据进行分析和处理,可以更好地满足我们的检索需求,因此我们需要对传统的检索方式进行革新,跨媒体检索正逐渐的走入我们的视线,并被相关人员开始广泛的研究。近似最近邻(Approximate Nearest Neighbor,ANN)查找,也称相似性查找即找出一个与查找文件最为相似的项出来,这个项称为最近邻域。通过研究发现,近似最近邻查找非常适合于多媒体数据的检索,它可以快速地检索出我们想要的媒体类型数据。目前,基于哈希近似最近邻检索引起了广泛的关注,一方面哈希算法使用低维紧凑的二值码来表示高维的特征数据,使得数据在存储占用上存在一定的优势。另一方面,哈希的检索方式对维度不敏感,使得相似性计算非常快,有利于海量媒体数据的检索。由于哈希技术具有低存储开销和快速检索的优势,基于哈希的近似最近邻检索在多媒体数据的相似检索中引起广泛的关注。一般来说,现实应用中的大多数数据都带有语义标签信息,因此很多的监督多模态哈希学习方法都借助了语义信息来提升检索的准确度。这其中一些方法使用相似度矩阵去学习哈希函数,然而这将会丢失一些维持原始数据的有用信息;有一些方法的哈希函数对噪声缺乏鲁棒性,易受样本中噪声的影响;还有的方法为了绕过离散优化的障碍而将哈希码进行松弛或者将哈希函数与哈希码的学习变为两个独立的过程,这都会使得哈希码的质量严重受损。考虑到以上缺陷,本文中设计了一个用于跨媒体检索的多模态哈希学习方法,称为监督鲁棒离散多模态哈希(Supervised Robust Discrete Multimodal Hashing,SRDMH)。首先SRDMH使用传统特征提取方法比如SIFT方法、GIST方法来抽取数据特征,学习过程中还加入了标签信息;为了保证二值码的质量我们摒弃了以往的松弛二值码的方式,而是同时学习哈希函数和二值码;然后我们又引入了一种新颖的ζ2,p(0p≤2)范数去克服样本中的噪声,使得我们的哈希函数具有更好的鲁棒性;此外,为了优化的方便,我们借助对每个样本的中间表示把一个复杂的优化问题变成了两个子优化问题。最后我们在三个基准数据集上进行了大量的实验,实验结果表明我们提出的多模态哈希方法优于目前已提出用于跨媒体检索的哈希方法,具有很好地学术参考价值。我们还设计并实现了一个跨媒体检索系统。该系统采用浏览器/服务器模式提供以文本检索图片和以图片检索文本两个跨媒体检索功能。系统的结构主要包含页面展示层、业务核心层和数据存储层。该系统的核心部分采用我们提出的多模态哈希框架进行媒体信息的存储和检索,最终通过本系统展现了我们方法的有效性和高效性,并为实际的应用提供了借鉴。
[Abstract]:In recent years , with the rapid development of science and technology , the data of various media types has been greatly increased , we call it " Big Data " . The retrieval of multimedia data has become more and more diversified . SRDMH). In order to ensure the quality of binary code , we have proposed a multi - modal hashing method to overcome the noise in the sample , but we also design and implement a cross - media retrieval system . In addition , we design and implement a cross - media retrieval system . In addition , we design and implement a cross - media retrieval system . The system uses the multi - modal hashing framework proposed by us to store and retrieve the media information . Finally , we present the effectiveness and efficiency of our method through this system , and provide reference for practical application .

【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP391.3

【相似文献】