基于压缩卷积神经网络的跨媒体检索方法研究

发布时间：2021-05-05 18:08

　　随着互联网和多媒体技术的飞速发展,网络上各种形式的媒体内容（文本、图像、音频、视频）大量涌现并呈爆炸式增长,如何让计算机能够快速准确地理解多媒体信息内容并挖掘不同模态媒体之间的关联信息以实现跨媒体的检索,成为人们快速从混杂而又庞大的多媒体信息中获取到自己所需有效信息的关键。近年来,深度学习在信息检索领域发展迅速,因其强大的功能,也越来越多地被人们用于跨媒体检索的研究中。由于成熟的深度神经网络模型参数数量大,计算量大,所以跨媒体检索信息的速度会受到相应限制,直接影响使用者检索信息的体验感。本文简要分析了跨媒体研究现状,对已有的跨媒体检索方法进行总结。在综合分析了已有的跨媒体检索方法的基础上,以图像和文本的双向检索为切入点,针对深度卷积神经网络模型计算量大的问题,提出将压缩卷积神经网络用于图像和文本双向检索的跨媒体检索方法并取得了较好效果。本文的主要工作如下:（1）分别采用预训练的通道剪枝的VGG-16（Channel Pruning VGG-16）压缩卷积神经网络和经过目标数据集微调的Channel Pruning VGG-16压缩卷积神经网络来提取数据集图像底层特征,采用狄利克雷（La... 

【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校

【文章页数】：75 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
    1.3 研究内容及论文组织结构
        1.3.1 研究内容
        1.3.2 论文组织结构
第二章 相关理论概述
    2.1 跨媒体信息检索概述
    2.2 卷积神经网络
        2.2.1 卷积神经网络概述
        2.2.2 压缩卷积神经网络概述
    2.3 常见的跨媒体检索方法
        2.3.1 共同空间学习方法
        2.3.2 跨媒体相似性度量方法
    2.4 本章小结
第三章 基于压缩卷积神经网络的跨媒体检索方法
    3.1 引言
    3.2 跨媒体检索框架
    3.3 数据特征提取
        3.3.1 图像特征提取
        3.3.2 文本特征提取
    3.4 语义共享空间
    3.5 图像特征正则规范化
    3.6 相似性度量算法
    3.7 实验结果与分析
        3.7.1 实验数据集
        3.7.2 评价指标
        3.7.3 Wikipedia的实验结果及分析
        3.7.4 Pascal Sentence的实验结果及分析
    3.8 本章小结
第四章 基于数量积相似性度量的跨媒体检索方法
    4.1 引言
    4.2 压缩卷积神经网络的微调
    4.3 基于数量积的相似性度量的跨媒体检索方法
    4.4 实验结果及分析
        4.4.1 实验设置
        4.4.2 Wikipedia的实验结果及分析
        4.4.3 Pascal Sentence的实验结果及分析
    4.5 本章小结
第五章 总结与展望
    5.1 总结
    5.2 展望
参考文献
攻读硕士期间的研究成果
致谢



本文编号：3170343