基于深度神经网络与自适应注意力机制的图像描述方法研究

发布时间：2022-02-22 05:00

　　图像描述涉及了计算机视觉和自然语言处理两大领域,是一项极具挑战性的研究任务。该任务的目标是让计算机能够自动地为图像生成一段描述性文字。与传统的图像描述方法相比较,基于神经网络的图像描述方法更加高效,并且能够为图像产生更加自然的描述语句。本文结合深度神经网络与注意力机制,研究高效的图像描述算法,主要研究工作和创新点如下:（1）提出了一种基于长短期自适应注意力的图像描述模型。传统的基于注意力机制的图像描述模型通常将注意力机制与长短期记忆网络相结合,并根据长短期记忆网络的隐藏层状态来调整模型的注意力。但由于隐藏层状态存储的信息有限,在没有足够的信息作为参考的情况下,模型很难定位到与当前时刻相关性较高的图像区域。针对这个问题,本文提出了基于长短期自适应注意力的图像描述模型,该模型分别使用长短期记忆网络的隐藏层状态和记忆单元状态来引导两个注意力模块,并通过调节因子将它们联系起来,使模型可以同时参考两方面的信息来推断出当前时刻应该关注图像的哪些区域。通过相应的实验并与主流的图像描述模型对比,验证了所提出模型的有效性。（2）在本文已有工作的基础上,考虑到注意力模块产生的加权图像特征在产生单词的每个时... 

【文章来源】：广西民族大学广西壮族自治区

【文章页数】：54 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 基于模板的方法
        1.2.2 基于检索的方法
        1.2.3 基于神经网络的方法
    1.3 本文主要研究内容
    1.4 本文的章节结构
第2章 相关理论及关键技术概述
    2.1 人工神经网络
        2.1.1 人工神经网络概述
        2.1.2 激活函数
    2.2 卷积神经网络
        2.2.1 卷积神经网络概述
        2.2.2 卷积神经网络的重要特性
        2.2.3 ResNet神经网络介绍
    2.3 循环神经网络
        2.3.1 循环神经网络概述
        2.3.2 LSTM神经网络介绍
    2.4 神经网络训练及优化算法
        2.4.1 反向传播算法
        2.4.2 防止过拟合技术
    2.5 编码器-解码器框架
    2.6 注意力机制
    2.7 本章小结
第3章 基于长短期自适应注意力的图像描述模型
    3.1 基于ResNet的图像特征提取模型
    3.2 基于长短期自适应注意力与LSTM的语言生成模型
        3.2.1 单词库的构建
        3.2.2 词向量的构建
        3.2.3 基于长短期自适应注意力的图像描述算法
    3.3 实验与结果分析
        3.3.1 数据集及参数设置
        3.3.2 评估指标
        3.3.3 结果分析
    3.4 本章小结
第4章 改进后的长短期自适应注意力图像描述模型
    4.1 引言
    4.2 问題分析
    4.3 模型框架
    4.4 实验结果与分析
    4.5 本章小结
第5章 总结与展望
    5.1 总结
    5.2 展望
参考文献
致谢
攻读学位期间发表的学术论文目录



本文编号：3638745