基于稀疏系数相关性分析的跨媒体检索的研究

发布时间：2022-09-27 16:52

　　随着互联网技术的迅速发展,大量的多模态数据（例如图像,文本,视频和音频）被广泛使用。在跨媒体检索之前,单媒体检索技术是较为流行的一种检索方法,这种检索方式较为单一,不支持不同媒体类型之间的检索。由此,跨媒体检索变得越来越重要。在跨媒体检索中,用户可以通过提交一种任意类型的媒体对象查询得到所有媒体类型的媒体对象。多模态数据通常有不同的特征空间,不同模态特征之间的异质差异是跨媒体检索的一项巨大挑战,解决这个问题,最直接的方法是将不同模态的数据映射到一个共享空间,在共享空间中不同模态之间的相似性可以直接测量。然而,在学习共享空间时,现有的大多数方法只考虑了不同模态之间的直接关联,忽略了它们的表示和相关结构的内在多样性;在映射过程中忽略了相关性特征的选择以及模态内、模态之间的关系。通过耦合的方式充分利用字典学习获得不同模态的稀疏系数,对于不同模态的稀疏系数是同质的,结合模态之间的关系,确保得到更具代表性的共享空间。在映射过程,对映射矩阵施加21范式,对数据使用图形正则化,确保特征的选择以及模态之间的关系。本文提出了两种跨媒体检索的方法,在两个数据集进行了实验,跨模态检索任务的实验结果显示了所提... 

【文章页数】：49 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
        1.2.1 公共子空间学习算法
        1.2.2 跨模态相似性度量
        1.2.3 跨媒体检索其他算法
    1.3 本文主要研究内容
    1.4 论文组织结构
第二章 跨媒体检索实验基础
    2.1 引言
    2.2 图像及文本的特征提取及预处理
        2.2.1 图像的特征提取
        2.2.2 文本的特征提取
        2.2.3 特征的预处理
    2.3 数据集
    2.4 评价标准
    2.5 本章小结
第三章 经典跨媒体检索算法
    3.1 引言
    3.2 字典学习
        3.2.1 广义耦合字典学习方法及其在跨模态匹配中的应用(GCDL)
    3.3 特征选择和图形正则化
        3.3.1 特征选择
        3.3.2 多模态图形正则化
        3.3.3 基于耦合特征空间的跨模态匹配算法(LCFS)
        3.3.4 联合特征选择和子空间学习的跨模态检索(JFSSL)
    3.4 本章小结
第四章 联合耦合字典学习和图像正则化的跨媒体检索算法
    4.1 引言
    4.2 .耦合字典学习
        4.2.1 更新D_V,D_T
        4.2.2 更新A_V,A_T
        4.2.3 更新U_V,U_T
    4.3 联合图像正则化和特征选择的特征映射
    4.4 跨媒体检索的测试阶段
    4.5 实验结果
        4.5.1 Wikipedia数据集实验结果
        4.5.2 Pascal VOC数据集实验结果
    4.6 本章小结
第五章 联合特征选择和潜在子空间回归的跨媒体检索算法
    5.1 引言
    5.2 潜在空间学习
    5.3 潜在空间回归与特征选择
    5.4 潜在空间学习、回归与特征选择
    5.5 实验结果
        5.5.1 Wikipedia数据集实验结果
        5.5.2 Pascal VOC数据集实验结果
    5.6 本章小结
第六章 总结与展望
    6.1 总结
    6.2 展望
参考文献
攻读硕士学位期间的主要成果
致谢


【参考文献】：
期刊论文
[1]基于潜语义主题加强的跨媒体检索算法[J]. 黄育,张鸿.  计算机应用. 2017(04)
[2]图像特征提取研究[J]. 翟俊海,赵文秀,王熙照.  河北大学学报(自然科学版). 2009(01)
[3]基于特征子空间学习的跨媒体检索方法[J]. 张鸿,吴飞,庄越挺.  模式识别与人工智能. 2008(06)
[4]关于文本特征抽取新方法的研究[J]. 李凡,鲁明羽,陆玉昌.  清华大学学报(自然科学版). 2001(07)



本文编号：3681243