面向大规模多媒体检索的跨模态哈希方法研究

发布时间：2021-02-05 21:31

　　跨模态检索（Cross-Modal Retrieval）旨在为不同模态的多媒体数据（如图像,文本,视频等）提供相互检索的能力。相较于传统的单模态数据检索（如图像检索图像）,跨模态检索能够提供更加多样化的检索体验,如使用视频数据检索相关的文本描述等。但是由于不同的多媒体数据往往具有不同的数据分布,因此无法直接利用传统相似性度量手段对它们之间的相似度进行度量。当前主流的解决方案是先将不同的多模态数据映射到一个公共的子空间中,然后依据它们在该公共子空间内的相似度作为度量依据检索相似的样本。为了进一步减少大规模数据在进行跨模态检索时所需的存储空间和计算复杂度,基于哈希学习的跨模态检索算法在近年来得到了广泛的关注,本文主要探讨如何设计出更加有效的跨模态哈希算法。首先,本文提出了基于图卷积神经网络的半监督跨模态哈希算法（SGCH）。由于现有的跨模态哈希方法绝大多数是有监督的,需要人为对训练数据进行标注,因此当数据规模较大时人力资源的消耗也是巨大的。而半监督跨模态哈希方法通过利用少量有标注样本和大量无标注数据进行训练,能够取得接近于有监督方法的性能,因此具有更好的实用性。SGCH首先通过图建模（Gr... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

跨模态检索示例

第一章绪论2图1-1跨模态检索示例的语义相关性。图1-2展示了基于子空间学习的图像和文本跨模态检索示意图，其中包含训练以及测试（Inference）阶段。在训练阶段，我们根据训练数据学习图像映射矩阵和文本映射矩阵，以此来分别将原始图像和文本数据映射到低维的子空间中，并且使得原始数据在子空间中的坐标（特征）能够较好地反映它们的语义关系。而在测试阶段，我们根据用户输入的模态类别，使用相应的映射矩阵将输入数据映射到之前学习好的子空间中，然后找到距离它最近的top-K个数据作为结果返回给用户。图1-2公共子空间映射示意图随着互联网中的多媒体数据（如图片，视频，文字等）呈现爆炸性的增长，传统基于连续值的跨模态检索算法已经不再适用，为了能够更加高效地对大规模多模态数据进行存储以及检索，基于哈希编码的跨模态检索算法（Cross-ModalHashing,a.k.a.CMH）成为了学术界以及工业界的研究热点。哈希方法（Hashing[4]）被广泛地应用于近似最近邻搜索（ApproximateNearestNeighborSearch,a.k.a.ANN）等任务中，它通过学习原始数据的低维二进制表示（哈希编码），使用{0,1}或{-1,1}等二值编码来代替原始的连续性数据，并且尽可能地保留原始数据之间的邻近关系，即对于原始空间中相似的数据，其哈希编码也尽可能的相似，反之，

第一章绪论2图1-1跨模态检索示例的语义相关性。图1-2展示了基于子空间学习的图像和文本跨模态检索示意图，其中包含训练以及测试（Inference）阶段。在训练阶段，我们根据训练数据学习图像映射矩阵和文本映射矩阵，以此来分别将原始图像和文本数据映射到低维的子空间中，并且使得原始数据在子空间中的坐标（特征）能够较好地反映它们的语义关系。而在测试阶段，我们根据用户输入的模态类别，使用相应的映射矩阵将输入数据映射到之前学习好的子空间中，然后找到距离它最近的top-K个数据作为结果返回给用户。图1-2公共子空间映射示意图随着互联网中的多媒体数据（如图片，视频，文字等）呈现爆炸性的增长，传统基于连续值的跨模态检索算法已经不再适用，为了能够更加高效地对大规模多模态数据进行存储以及检索，基于哈希编码的跨模态检索算法（Cross-ModalHashing,a.k.a.CMH）成为了学术界以及工业界的研究热点。哈希方法（Hashing[4]）被广泛地应用于近似最近邻搜索（ApproximateNearestNeighborSearch,a.k.a.ANN）等任务中，它通过学习原始数据的低维二进制表示（哈希编码），使用{0,1}或{-1,1}等二值编码来代替原始的连续性数据，并且尽可能地保留原始数据之间的邻近关系，即对于原始空间中相似的数据，其哈希编码也尽可能的相似，反之，

【参考文献】：
期刊论文
[1]大数据哈希学习:现状与趋势[J]. 李武军,周志华.  科学通报. 2015(Z1)



本文编号：3019613