基于注意力机制的图像生成研究

发布时间：2021-05-07 17:14

　　深度学习理论的提出和发展极大地推动了对图像生成的研究。在基于深度学习的传统图像生成任务中,由于卷积神经网络内部存在局部连接,通过学习局部特征,模型能够较好地生成图像中浅层神经网络提取的纹理风格信息,但是对深层神经网络提取的高级语义特征的学习能力较差,导致生成图像中语义目标出现模糊失真的现象。为提高神经网络的全局特征处理能力,使生成图像中的语义目标更清晰、真实,本文在级联细化网络图像生成模型中引入注意力机制,加强网络内部多维特征之间的全局一致性,提高了由语义标签和复杂文本描述生成真实感图像的质量。本文的主要研究内容及成果如下:（1）通过在级联细化网络内部引入自注意力机制,对第一级精细化模块输出的多维特征图做特征融合,输出带有全局信息的自注意力特征,克服了卷积神经网络局部连接带来的局部性特征缺陷,得到自注意力级联细化网络,提升了由语义标签生成真实感图像中语义目标的清晰度和真实性。通过对Cityscapes验证集语义标签生成图像的语义分割,自注意力模型生成图像的平均像素精度相比原始模型提升了6.2%,mIoU精度提升了22.3%。（2）在自注意力机制的基础上,结合级联细化网络自身输入特性,对... 

【文章来源】：青岛科技大学山东省

【文章页数】：88 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 图像生成研究背景及现状
        1.1.1 图像到图像生成
        1.1.2 语义标签到图像生成
        1.1.3 文本信息到图像生成
    1.2 注意力机制研究背景及现状
    1.3 研究内容与工作
        1.3.1 研究工作
        1.3.2 章节安排
    1.4 本章小结
第2章 图像生成方法
    2.1 传统图像生成方法
        2.1.1 变分自动编码器
        2.1.2 生成对抗网络
    2.2 级联细化网络
        2.2.1 网络结构
        2.2.2 损失函数与优化
    2.3 本章小结
第3章 自注意力级联细化网络
    3.1 网络设计
        3.1.1 局部特征与全局特征
        3.1.2 自注意力模型设计
    3.2 图像生成实验及分析
        3.2.1 数据集简介
        3.2.2 实验设计及评估标准
        3.2.3 实验结果及分析
    3.3 本章小结
第4章 监督注意力级联细化网络
    4.1 监督注意力模型
        4.1.1 维度匹配
        4.1.2 模型设计
        4.1.3 同Pix2pix HD模型对比
    4.2 图像生成实验及分析
        4.2.1 实验设计与评估标准
        4.2.2 实验结果及分析
    4.3 本章小结
第5章 生成图像实例分割
    5.1 改进Mask Scoring R-CNN实例分割模型
        5.1.1 语义分割与实例分割
        5.1.2 自适配归一化改进Mask Scoring R-CNN
    5.2 实例分割实验
        5.2.1 真实图像的实例分割
        5.2.2 生成图像的实例分割
    5.3 本章小结
第6章 基于监督注意力的文本到图像生成
    6.1 场景图生成图像
        6.1.1 基于图卷积和级联细化网络的Sg2im模型
        6.1.2 引入监督注意力的Sg2im模型
    6.2 文本生成图像实验
        6.2.1 实验设计及评估
        6.2.2 实验结果与分析
    6.3 本章小结
第7章 总结与展望
    7.1 论文总结
    7.2 研究展望
参考文献
致谢
攻读学位期间发表的学术论文目录


【参考文献】：
期刊论文
[1]一种融合AutoEncoder与CNN的混合算法用于图像特征提取[J]. 刘兴旺,王江晴,徐科.  计算机应用研究. 2017(12)
[2]博弈论与纳什均衡[J]. 郭鹏,杨晓琴.  哈尔滨师范大学自然科学学报. 2006(04)

硕士论文
[1]基于生成对抗网络的文本生成图像技术研究[D]. 陈鑫晶.华侨大学 2019
[2]目标识别技术在机器人视觉系统中的应用研究[D]. 江彤彤.齐鲁工业大学 2018



本文编号：3173771