基于多尺度特征和注意力融合的图像描述生成方法研究

发布时间：2024-03-10 05:04

　　随着互联网和计算机智能的飞速发展,图像数据和视频数据急剧增加。为了更好满足人们对图像信息和视频信息的需求,急需对图像和视频进行处理的技术。机器自动生成图像描述文本是当前人工智能研究热点之一,它搭建起计算机视觉和自然语言处理之间的桥梁,是通向机器智能常应用场景的至关重要一步。图像描述生成任务借助计算机视觉技术自动完成图像目标识别,再利用机器翻译模型将解释的内容表达成一段自然语言文本。图像描述生成任务虽然面临诸多挑战,但应用前景广泛,具有重要的应用价值和现实意义。本文的主要内容如下:(1)首先介绍本论文研究方向的研究背景和研究意义,接着介绍了图像描述生成的国外研究现状。接着介绍现有图像描述生成模型的优缺点,深度学习中的注意力机制、多尺度图像和图像描述生成的相关理论与关键技术。(2)当前深度学习模型对图像特征的提取多数采用卷积神经网络预训练的模型最后几层中的一层作为全局特征,在图像信息提取过程中提取图像尺度单一,忽视了不同尺度下图像特征的提取,同样缺少对图像局部信息的提取,造成文字对图片内容描述的不够准确、语义较模糊的问题。针对此问题,本文基于在卷积神经网络中,不同特征层具有不同的尺度。利用...

【文章页数】：47 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 引言
    1.1 研究背景和意义
    1.2 国内外研究现状
    1.3 本文研究内容和组织结构
        1.3.1 研究内容
        1.3.2 组织结构
    1.4 本章小结
第2章 相关理论和关键技术
    2.1 梯度下降法
    2.2 常见神经网络结构
        2.2.1 卷积神经网络结构
        2.2.2 循环神经网络
        2.2.3 基于卷积神经网络的特征提取
    2.3 注意力机制
        2.3.1 硬性注意力
        2.3.2 卷积神经网络中的注意力
    2.4 多尺度图像
    2.5 本章小结
第3章 基于多尺度特征的图像描述生成模型
    3.1 图像描述模型设计概要
    3.2 本文模型结构
    3.3 基于VGG16 的多尺度图像特征提取的编码器
        3.3.1 VGG网络模型
        3.3.2 编码器
    3.4 基于LSTM的图像描述生成的解码阶段
        3.4.1 解码器
        3.4.2 词嵌入
        3.4.3 解码器过程
    3.5 实验结果与分析
        3.5.1 数据集与实验环境
        3.5.2 数据准备与数据处理
        3.5.3 评价指标
        3.5.4 结果分析
    3.6 本章小结
第4章 基于注意力和多尺度特征融合的图像描述生成模型
    4.1 注意力图
    4.2 注意力图的生成
    4.3 注意力图和多尺度特征融合
    4.4 实验与分析
        4.4.1 训练过程与模型参数
        4.4.2 实验结果
        4.4.3 结果分析
    4.5 本章小结
第5章 总结与展望
    5.1 工作总结
    5.2 展望
参考文献
致谢



本文编号：3924286