基于生成式对抗学习的单一与多模态图像转换

发布时间：2021-11-12 05:21

　　近年来各种有关图像处理的研究得到了广泛的关注与发展,而在计算机图像研究领域中,图像转换作为重要的一项技术,许多图像处理相关的问题都可以归结到此类任务中,例如图像风格迁移、图像降噪、图像超分辨率解析等。图像转换旨在研究数据域之间的关系并解决如何将一个形态的图像转换成另一个形态,因此完成图像转换需要重点研究图像间的相似性和多样性两方面内容,相似性研究内容要求生成图像与输入图像的结构相似性,同时又要求生成图像与目标图像域样本的细节相似性,多样性研究内容要求在处理多模态输出或者输入情况下方法都具有很好的扩展性。现有的图像转换方法按照是否需要成对数据可以将这类方法分为监督方法和无监督方法,按照是否可以生成或者处理多种形态的图像分为单模态方法和多模态方法。成对的训练数据提供了目标图像用以指导数据生成,降低了研究内容中相似性要求的难度,然而成对的数据是很难获得的,因此相比于监督方法,无监督方法更具有普适性。相比于单模态方法,多模态方法具有更好的完备性,但是多模态方法在解决输出图像的多种模态方面更加复杂,最后多模态方法由于可以应用到多个图像转换任务,模型往往更加复杂,如何减少网络参数也是面临的问题之一... 

【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校

【文章页数】：65 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景和意义
    1.2 图像转换的研究现状
        1.2.1 监督与无监督图像转换方法
        1.2.2 单模态与多模态图像转换方法
    1.3 主要研究思路与内容
    1.4 本文结构
2 相关研究技术
    2.1 生成式模型概述
        2.1.1 生成对抗网络概述
        2.1.2 变分自编码器概述
        2.1.3 结合生成对抗网络与变分自编码器的生成式模型概述
    2.2 感知损失在图像转换方法的应用
    2.3 本章小结
3 基于生成式对抗学习的单模态图像转换方法
    3.1 引言
    3.2 关键技术
        3.2.1 双生成对抗网络
        3.2.2 互信息
        3.2.3 感知对抗损失
    3.3 模型结构
        3.3.1 网络结构
        3.3.2 损失函数
    3.4 实验结果与分析
        3.4.1 数据集
        3.4.2 对比方法
        3.4.3 评测指标
        3.4.4 结果比较与分析
    3.5 本章小结
4 基于生成式对抗学习的多模态图像转换方法
    4.1 引言
    4.2 基于生成对抗网络的多模态图像转换方法
        4.2.1 模型结构
        4.2.2 数据集与对比方法介绍
        4.2.3 实验结果与分析
    4.3 结合生成对抗网络和变分自编码器的多模态视图转换方法
        4.3.1 基础知识
        4.3.2 模型结构
        4.3.3 数据集与对比方法
        4.3.4 实验结果与分析
    4.4 本章小结
结论
参考文献
攻读硕士学位期间发表学术论文情况
致谢


【参考文献】：
期刊论文
[1]人工智能研究的新前线:生成式对抗网络[J]. 林懿伦,戴星原,李力,王晓,王飞跃.  自动化学报. 2018(05)
[2]生成式对抗网络GAN的研究进展与展望[J]. 王坤峰,苟超,段艳杰,林懿伦,郑心湖,王飞跃.  自动化学报. 2017(03)



本文编号：3490251