深度跨媒体哈希关键技术研究

发布时间：2022-12-09 05:22

　　随着多媒体数据的爆炸式增长,跨模态检索已成为多媒体计算和信息检索领域的研究热点。跨模态检索方法以某类模态的数据为查询对象,检索其他模态中的相关数据。它打破了传统的以图片搜索图片,文本搜索文本为主的单模态检索模式的局限性,开辟了一种全新的方式来有效地支持多模态数据检索。然而,大规模的跨模态检索在存储消耗和检索速度上都面临着巨大的挑战。跨模态哈希将高维多模态数据（如文本、音频、图像、视频等）投影到公共的低维汉明空间中,并保持原始特征空间中媒体间和媒体内的语义一致性。它的提出有效的加快了大规模跨模态检索的速度以及降低了存储开销。深度跨模态哈希能够同时进行深度特征学习和哈希学习,显著地提高了跨媒体哈希的检索精度。虽然已有的深度跨模态哈希方法取得了一定的研究成果,但仍然存在两个重要问题:（1）现有的无监督深度跨模态哈希方法大多缺乏语义标签的指导,使得学习到的哈希码中所包含的语义信息十分有限,而语义信息的不足将直接影响检索精度;（2）现有的有监督深度跨模态哈希方法平等地处理不同的跨模态检索任务（图像检索文本和文本检索图像）,它们通常以对称的方式来学习相同的哈希函数,从而忽略了不同跨模态检索任务之间... 

【文章页数】：68 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景与意义
    1.2 国内外相关研究现状
        1.2.1 无监督跨模态哈希方法
        1.2.2 有监督跨模态哈希方法
        1.2.3 基于深度学习的跨模态哈希方法
    1.3 本文研究的主要内容和贡献
        1.3.1 基于虚拟标签回归的无监督深度跨模态哈希
        1.3.2 任务自适应的非对称深度跨模态哈希
    1.4 本文的组织结构
第二章 基于虚拟标签回归的无监督深度跨模态哈希
    2.1 概述
    2.2 符号和问题定义
    2.3 框架概述
    2.4 模型构建和哈希优化
        2.4.1 深度特征学习
        2.4.2 潜因子判别哈希码学习
        2.4.3 哈希函数学习
        2.4.4 目标函数
        2.4.5 优化求解
        2.4.6 计算复杂性分析
    2.5 实验结果及分析
        2.5.1 测试数据集
        2.5.2 实验设置
        2.5.3 实验结果
        2.5.4 时间复杂度分析
        2.5.5 虚拟标签的有效性验证
        2.5.6 离散优化的有效性验证
        2.5.7 参数敏感性分析
        2.5.8 收敛性分析
    2.6 本章小结
第三章 任务自适应的非对称深度跨模态哈希
    3.1 概述
    3.2 符号和问题定义
    3.3 模型构建和哈希优化
        3.3.1 深度特征学习
        3.3.2 面向图像检索文本任务的非对称哈希学习
        3.3.3 面向文本检索图像任务的非对称哈希学习
        3.3.4 优化求解
        3.3.5 在线查询哈希
    3.4 实验设置
        3.4.1 测试数据集
        3.4.2 对比方法和评价指标
        3.4.3 参数设置
    3.5 实验结果及分析
        3.5.1 性能评估
        3.5.2 任务自适应哈希函数学习的有效性验证
        3.5.3 离散优化的有效性验证
        3.5.4 参数敏感性分析
        3.5.5 收敛性分析
    3.6 本章小结
第四章 总结与展望
    4.1 工作总结
    4.2 未来展望
参考文献
攻读学位期间发表的学术论著
致谢


【参考文献】：
博士论文
[1]基于哈希方法的跨媒体检索研究[D]. 姚涛.大连理工大学 2017

硕士论文
[1]基于矩阵分解的离散哈希方法研究[D]. 李传祥.山东大学 2019
[2]面向大规模跨模态检索的哈希方法研究[D]. 黄华俊杰.山东大学 2018
[3]基于哈希学习的跨媒体检索关键技术研究及系统实现[D]. 颜廷坤.山东大学 2017
[4]面向大规模多模态图像检索的关键技术研究及系统实现[D]. 杨睿.山东大学 2017
[5]基于哈希的图像检索研究[D]. 李蕾.北京交通大学 2017
[6]基于离散图哈希的图像检索算法研究[D]. 张喜.哈尔滨工业大学 2017



本文编号：3714911