面向大规模图像哈希学习的理论与方法研究

发布时间：2020-11-03 10:09

　　 如今移动设备及互联网的普及带来了多媒体数据的急剧增长,给数据存储和信息检索带来了巨大挑战。由于哈希学习技术对于大规模图像检索任务具有存储成本低、检索效率高的优点,并且为图像提供了一种具有一定概念级语义特征,因此研究哈希学习技术具有重要的理论和实践意义。近几年哈希技术引起了越来越多的关注,并成为大规模图像检索任务的基础和关键步骤。然而,从底层视觉特征学习到的哈希码与高层语义之间存在巨大的“语义鸿沟”,设计高效图像哈希学习方法提高图像语义检索的性能是一个具有挑战性的问题。本文从图像哈希学习出发,以学习高质量的二值码为总体目标,重点研究了无监督哈希学习方法、对称的监督哈希学习方法、跨模态的监督哈希学习方法及非对称的监督哈希学习方法。本文的具体研究内容和主要贡献概括如下:(1)针对现有无监督哈希方法忽略了数据集的全局拓扑结构的问题,提出了基于流形排序嵌入的序保留无监督哈希学习方法。该方法从数据的流形结构出发,将流形排序嵌入、超立方体量化、信息论正则化约束以及流形排序与汉明排序一致性约束统一到一个联合的优化框架,并提出了一种交替的优化算法解决该离散优化问题。(2)针对现有无监督哈希方法假定数据分布满足流形假设(语义相似的样本倾向于位于低维的流形上)在大的类内变化可能会弱化的局限性,提出了基于非负矩阵分解的无监督哈希学习方法。该方法将非负矩阵分解学习到的高水平特征表示,同比特平衡、比特独立约束以及样本外的扩展项联合起来学习有效的离散哈希码,并研制了一种交替的优化算法解决该离散优化问题。(3)针对现有深度监督哈希方法采用单流框架(单个分支)解决单个检索任务或者采用双流框架(两个分支)同时解决检索任务以及分类任务,而无法充分利用监督信息引导哈希码的学习问题,提出了一种基于多任务学习的深度哈希学习模型,该模型能够利用网络输出的哈希码同时完成图像分类及图像检索任务。最后利用这个两个任务的联合学习,生成紧致及判别性的二值码,有效地提升了图像检索的性能。(4)针对现有深度的跨模态监督哈希方法不能很好地保留哈希码的判别性和全局的多水平相似性,提出了一种基于全局语义及局部语义保留的深度跨模态监督哈希学习方法。该方法将捕获模态间相关性的局部语义结构保留项、捕获模态内相关性的全局语义结构保留项以及针对同一实例不同模态数据生成统一哈希码的一致性正则项整合成一种端对端的学习框架,生成能保留局部与全局语义结构的哈希码,有效地提升跨模检索的性能。(5)针对对称的哈希方法训练过程非常耗时而且无法充分利用大尺度数据中的监督信息的问题,提出了一种基于度量学习的非对称深度离散哈希方法。该方法将非对称哈希学习策略与深度度量学习方法整合一起,利用单个网络通过端对端的学习框架,提升数据库图像的离散编码过程与查询图像特征学习过程的兼容性。实验结果表明,提出算法在大多数数据库上的哈希检索性能优于现有的哈希方法。
【学位单位】：电子科技大学
【学位级别】：博士
【学位年份】：2019
【中图分类】：TP391.41;TP181
【文章目录】：
摘要
abstract
缩略词表
第一章 绪论
    1.1 课题背景及研究意义
    1.2 图像哈希学习的研究现状与挑战
        1.2.1 图像哈希学习的研究现状
            1.2.1.1 数据独立的哈希方法
            1.2.1.2 数据依赖的哈希方法
        1.2.2 图像哈希学习的问题与挑战
    1.3 论文主要工作
    1.4 论文内容安排
第二章 基于流形排序嵌入的无监督哈希学习方法
    2.1 引言
    2.2 基于流形排序嵌入的序保留哈希学习方法
        2.2.1 流形排序嵌入
        2.2.2 流形排序与汉明排序一致性约束
        2.2.3 二值量化
        2.2.4 信息论正则化
    2.3 优化算法
        2.3.1 更新Y固定其它变量
        2.3.2 更新W固定其它变量
            2.3.2.1 更新H固定其他变量
            2.3.2.2 更新W固定其他变量
            2.3.2.3 更新μ及 Σ固定其他变量
        2.3.3 更新B固定其他变量
        2.3.4 更新R固定其他变量
    2.4 训练集外样本的编码及复杂性分析
    2.5 实验结果与分析
        2.5.1 数据库与实验设置
        2.5.2 实验结果与分析
            2.5.2.1 合成数据库上的实验结果
            2.5.2.2 在isolet数据库上的实验结果
            2.5.2.3 在USPS数据库上的实验结果
        2.5.3 参数敏感性分析
        2.5.4 成分分析
        2.5.5 讨论
    2.6 本章小结
第三章 基于非负矩阵分解的无监督哈希学习方法
    3.1 引言
    3.2 基于非负矩阵分解的有效二值码学习方法
        3.2.1 非负矩阵分解
        3.2.2 有效的二值码学习
        3.2.3 样本外的扩展
        3.2.4 目标函数
    3.3 优化算法
    3.4 复杂性分析
    3.5 本章算法与PCA之间的关系
    3.6 实验结果
        3.6.1 实验设置
        3.6.2 实验结果与分析
            3.6.2.1 在多标签MIRFlickr数据库上的实验结果
            3.6.2.2 在多标签ADE20K数据库上的实验结果
            3.6.2.3 在多标签NUS-WIDE数据库上的实验结果
            3.6.2.4 单标签图像语义检索与最近邻检索
        3.6.3 收敛性研究以及时间的比较
        3.6.4 参数敏感性分析
        3.6.5 成分分析
        3.6.6 讨论
    3.7 本章小结
第四章 基于多任务学习的监督哈希学习方法
    4.1 引言
    4.2 问题定义
    4.3 基于多任务学习的深度语义哈希学习方法
        4.3.1 分类任务
            4.3.1.1 单标签情形
            4.3.1.2 多标签情形
        4.3.2 检索任务
        4.3.3 多任务学习
        4.3.4 优化算法
        4.3.5 样本外未知实例扩展
        4.3.6 实验结果
            4.3.6.1 实验设置
            4.3.6.2 实验结果与分析
            4.3.6.3 成分分析
        4.3.7 收敛性分析
    4.4 分层的近邻判别性哈希学习方法
        4.4.1 深度网络结构
        4.4.2 粗略的近邻判别性哈希损失
        4.4.3 精细的近邻判别性哈希损失
        4.4.4 目标函数及优化算法
        4.4.5 实验结果
            4.4.5.1 实验设置
            4.4.5.2 实验结果与分析
            4.4.5.3 成分分析
        4.4.6 收敛性分析
    4.5 本章小结
第五章 跨模态的监督哈希学习方法
    5.1 引言
    5.2 符号与问题定义
    5.3 基于全局与局部语义保留的深度跨模态哈希学习方法
        5.3.1 深度网络结构
        5.3.2 局部语义结构保留捕获模态间的相关性
        5.3.3 全局语义结构保留捕获模态内的相关性
        5.3.4 一致性正则化模型
        5.3.5 优化算法
            5.3.5.1 更新B固定θx及θy
            5.3.5.2 更新θx固定θy及B
            5.3.5.3 更新θy固定θx及B
            5.3.5.4 实施技巧
    5.4 实验结果与分析
        5.4.0 实验设置
        评估准则
        5.4.1 实验结果与分析
            5.4.1.1 在多标签MIRFlickr-25K数据库上的实验结果
            5.4.1.2 在多标签IAPRTC-12 数据库上的实验结果
        5.4.2 成分分析
        5.4.3 参数敏感性分析
        5.4.4 收敛性研究
        5.4.5 效率分析
    5.5 本章小结
第六章 非对称的监督哈希学习方法
    6.1 引言
    6.2 符号及问题定义
    6.3 基于判别性深度度量学习的非对称离散哈希学习方法
        6.3.1 模型框架
        6.3.2 深度网络结构
        6.3.3 损失函数
        6.3.4 优化算法
            6.3.4.1 固定V学习Θ
            6.3.4.2 固定Θ学习V
    6.4 样本外扩展
    6.5 复杂性分析
    6.6 实验部分
        6.6.1 数据库及实验设置
        6.6.2 实验结果与分析
        6.6.3 模型参数的影响
        6.6.4 效率分析
    6.7 本章小结
第七章 总结与展望
    7.1 工作总结
    7.2 工作展望
致谢
参考文献
附录
攻读博士学位期间取得的成果

【相似文献】

相关期刊论文 前10条

1 蒋大宏;动态哈希方法[J];计算机工程;1993年01期

2 鲁明;宋馥莉;;基于误差加权哈希的图像检索方法[J];河南科技;2016年17期

3 宋欣;;哈希:品质承诺铸就品牌基石[J];现代企业文化;2012年Z1期

4 蒋大宏;实现检索代价最优的动态哈希法[J];计算机工程与应用;1994年Z2期

5 郁延珍;;基于深度多监督哈希的快速图像检索[J];计算机应用与软件;2019年11期

6 孙瑶;;深度学习哈希研究与发展[J];数据通信;2018年02期

7 潘辉;郑刚;胡晓惠;马恒太;;基于感知哈希的图像内容鉴别性能分析[J];计算机辅助设计与图形学学报;2012年07期

8 牛夏牧;焦玉华;;感知哈希综述[J];电子学报;2008年07期

9 徐泽明;侯紫峰;;串的快速连续弱哈希及其应用[J];软件学报;2011年03期

10 郭呈呈;于凤芹;陈莹;;改进哈希编码加权排序的图像检索算法[J];传感器与微系统;2018年09期

相关博士学位论文 前10条

1 马雷;面向大规模图像哈希学习的理论与方法研究[D];电子科技大学;2019年

2 王家乐;基于哈希学习的跨模态检索与标注方法研究[D];华中科技大学;2017年

3 马超;语义鉴别和相似性保持的哈希方法研究与应用[D];南京理工大学;2017年

4 季剑秋;面向大规模数据相似计算和搜索的哈希方法研究[D];清华大学;2015年

5 付海燕;基于图像哈希的大规模图像检索方法研究[D];大连理工大学;2014年

6 刘兆庆;图像感知哈希若干关键技术研究[D];哈尔滨工业大学;2013年

7 姚涛;基于哈希方法的跨媒体检索研究[D];大连理工大学;2017年

8 陈勇昌;基于不变特征的数字水印与感知哈希图像认证技术研究[D];华南理工大学;2014年

9 赵玉鑫;多媒体感知哈希算法及应用研究[D];南京理工大学;2009年

10 张慧;图像感知哈希测评基准及算法研究[D];哈尔滨工业大学;2009年

相关硕士学位论文 前10条

1 许焱;基于哈希的行人重识别[D];电子科技大学;2019年

2 应文杰;哈希学习方法及其应用研究[D];北京交通大学;2019年

3 胡志锴;结合语义保护和关联挖掘的跨模态哈希检索算法研究[D];华侨大学;2019年

4 袁知洪;基于哈希学习的大规模图像检索[D];重庆邮电大学;2018年

5 李宣萌;基于判别分析的跨模态哈希和量化检索研究[D];安徽大学;2019年

6 商迎新;基于深度学习的哼唱检索研究[D];北京邮电大学;2019年

7 程敬东;基于深度哈希的图像检索研究[D];大连大学;2019年

8 郭欣欣;面向图像检索的哈希学习算法研究[D];河北大学;2019年

9 朱毅;基于深度哈希的快速场景布局估计[D];江西师范大学;2018年

10 赵鹏飞;基于标记信息的跨模态深度哈希方法研究[D];山东大学;2019年

本文编号：2868443