基于深度学习的图像文本生成的方法研究

发布时间：2025-03-30 05:08

　　图像描述任务是目前人工智能领域极具挑战性的研究课题之一,它的主要任务是让计算机能够识别、理解出图像中的内容并自动生成相应的文本描述句子。人类能够理解并描述出一幅图像中蕴含的信息,能够让计算机具备人类的这种能力有着重大的现实意义。在实际生活中也有着非常广泛的应用,例如,智能人机交互、幼儿早教、信息检索、视觉障碍者协助等。近年来,基于深度学习的图像描述技术发展迅速,特别是神经网络的运用,使得图像描述模型的性能得到很大的改善。通过分析基于深度学习的图像描述技术,同时借鉴神经机器翻译任务取得的阶段性成果,本文提出了一种区别于当前主流方法的图像描述模型来解决复杂场景下的描述不准确问题,其主要工作内容包含以下几点:(1)为了充分提取图像中所包含的语义信息,针对视觉特征信息的在卷积层的传播过程中的损失导致模型无法全面理解输入图像语义的情况,本文提出了一种融合多模型跨层特征的方法,融合低层特征和高层特征,并训练出多个编码器对特征进行提取,实现语义特征和细节特征之间的信息互补,从而学习到更形象具体的描述句子。(2)自然场景图像中经常包含多个目标和复杂的背景信息,对应的描述语句通常也是结构复杂的长句子,当前...

【文章页数】：52 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景及其意义
    1.2 国内外研究现状
    1.3 论文研究内容和主要贡献
        1.3.1 论文的主要研究内容
        1.3.2 论文的主要贡献和创新点
    1.4 论文的组织结构
第二章 基于端到端的图像描述基础
    2.1 编码-解码框架
    2.2 基于CNN+RNN架构的图像描述生成方法
        2.2.1 方法原理
        2.2.2 监督学习
    2.3 基于CNN+CNN架构的图像描述生成方法
        2.3.1 方法原理
        2.3.2 监督学习
    2.4 图像描述数据集及评价指标
        2.4.1 图像描述数据集
        2.4.2 图像描述评价指标
    2.5 本章小结
第三章 跨层多模型特征融合与因果卷积解码的图像描述
    3.1 引言
    3.2 CMFF/CD模型
        3.2.1 视觉模块
        3.2.2 语言模块
        3.2.3 Attention模块
        3.2.4 语句预测生成模块
        3.2.5 训练与测试
    3.3 实验及结果分析
        3.3.1 实验平台及参数设置
        3.3.2 实验结果分析
    3.4 本章小结
第四章 融合多层注意力的CNN语言模型用于图像描述
    4.1 引言
    4.2 注意力机制
        4.2.1 注意力机制的作用与原理
        4.2.2 多层级注意力模型
    4.3 融合多层注意力的CNN语言模型用于图像描述
    4.4 实验结果与分析
        4.4.1 实验数据集
        4.4.2 定量、定性及可视化实验结果分析
    4.5 本章小结
第五章 总结与展望
    5.1 本文工作总结
    5.2 研究展望
参考文献
致谢
攻读学位期间的研究成果



本文编号：4038238