基于领域自适应的跨媒体检索研究

发布时间：2021-09-08 13:09

　　随着互联网的发展,每天都有大量的多媒体文件产生,如何在海量数据中检索相关内容成为了科研人员重点关注的内容。传统的检索方法是在同一模态的数据中进行检索,如:图片检索、文本检索等,这种检索方式反馈的结果类型单一、形式不灵活,无法满足人们的需求,因此很多科研人员开始研究跨模态检索问题。跨模态检索是在不同的媒体数据中进行检索,通常用某种类型的数据查询得到内容相关的其他类型文件,例如:图片检索文本、文本检索图片等。和传统的检索方法相比,跨模态检索的反馈结果包含的信息更加丰富,不同的媒体文件间内容互补,给人们带来良好的检索体验。但是不同模态的数据间存在着异构鸿沟,如特征提取方式不同、特征维度空间不同、数据分布不同等,我们无法直接计算不同媒体文件间的相关程度。因此,如何缩小不同模态间的异构差异成为了跨模态检索要解决的难点问题。受到领域适配中特征迁移的启发,我们将域适应能力融入在子空间学习中,提取出具有域间不变性的特征,这样我们可以在子空间中直接计算不同模态样本间的相关程度,从而得到相应的检索结果。本文提出了两种算法来解决跨模态检索问题,主要工作如下:1.传统的子空间算法重点关注的是同一模态内部的结构... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：73 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
        1.2.1 跨模态检索研究现状
        1.2.2 领域适配研究现状
    1.3 本文的主要贡献与创新
    1.4 结构安排
第二章 跨模态检索相关研究工作
    2.1 图片特征表达
        2.1.1 颜色信息
        2.1.2 纹理信息
        2.1.3 SIFT算法
        2.1.4 Gist算法
        2.1.5 卷积神经网络
    2.2 文本特征表达
        2.2.1 词袋模型
        2.2.2 Word2vector
        2.2.3 循环神经网络
        2.2.4 长短时记忆网络
    2.3 经典算法介绍
        2.3.1 典型相关分析法
        2.3.2 核典型相关分析法
        2.3.3 深度典型相关分析法
        2.3.4 LCFS算法
    2.4 本章小结
第三章 基于子空间学习的跨模态检索
    3.1 子空间学习算法
        3.1.1 数学标识
        3.1.2 分类误差
        3.1.3 拉普拉斯图正则
        3.1.4 损失函数
    3.2 算法优化
    3.3 实验内容与分析
        3.3.1 数据集介绍
        3.3.2 评价指标
        3.3.3 实验结果
            3.3.3.1 Wiki低维特征
            3.3.3.2 Wiki高维特征
            3.3.3.3 Pascal Sentence
            3.3.3.4 Pascal VOC
        3.3.4 算法深度分析
            3.3.4.1 收敛速度
            3.3.4.2 时间复杂度
            3.3.4.3 参数敏感度
            3.3.4.4 算法优势与不足
    3.4 本章小结
第四章 基于多空间学习的跨模态检索
    4.1 预备知识
        4.1.1 VGG网络结构
        4.1.2 Autoencoder
    4.2 多空间学习算法实现
        4.2.1 数学标识
        4.2.2 公共子空间的学习过程
        4.2.3 私有空间的学习过程
        4.2.4 代价函数
    4.3 实验内容与分析
        4.3.1 参数设置
        4.3.2 数据集
        4.3.3 对比方法
        4.3.4 评价指标
        4.3.5 实验结果
            4.3.5.1 Wiki低维特征
            4.3.5.2 Pascal VOC
            4.3.5.3 Wiki高维特征
            4.3.5.4 Pascal Sentence
        4.3.6 算法深度分析
            4.3.6.1 参数敏感度
            4.3.6.2 收敛速度
            4.3.6.3 各模块作用
            4.3.6.4 结果可视化
            4.3.6.5 算法优势与不足
    4.4 本章小结
第五章 全文总结与展望
    5.1 全文总结
    5.2 后续工作展望
致谢
参考文献
攻硕期间取得的研究成果


【参考文献】：
期刊论文
[1]基于潜在语义空间的文本检索问题研究[J]. 刘海峰,王元元,张学仁.  情报科学. 2007(05)
[2]基于内容的图像检索技术研究[J]. 黄祥林,沈兰荪.  电子学报. 2002(07)
[3]基于概念空间的文本检索系统[J]. 郑毅,吴斌,史忠植.  计算机工程与应用. 2002(12)
[4]基于内容的图像检索技术与系统[J]. 李向阳,庄越挺,潘云鹤.  计算机研究与发展. 2001(03)



本文编号：3390843