基于生成式对抗网络的图像风格迁移方法研究

发布时间：2021-03-28 10:41

　　对图像艺术风格、目标特有属性的分辨,是一种可以通过抽象的知识进行的视觉任务,并且可以通过这些知识完成更复杂的图像再创作的过程。图像风格迁移是计算机视觉中一个具有挑战性的题目,在问题定义以及实施上存在诸多难点,例如,如何定义图像的风格并通过数学的方法表示;以及如何对图像的风格进行修改。近年来深度学习被成功地应用于图像风格迁移任务中,实现图像风格与内容的分离,指导模型进行图像风格的判别与修改。现有的许多工作都是从定义图像风格或内容的损失函数出发进行研究,本文则是在对图像特征与风格表示的研究基础上,对生成器的结构进行了研究与改进,提出了一种通用的图像风格迁移生成器结构。论文的主要工作包括以下内容:1.以深度学习特征这种图像的抽象表示作为出发点,研究了卷积神经网络中图像特征与语义内容的相关特性,如何通过图像特征插值修改的方式进行图像内容的修改;2.利用图像深度特征与语义内容之间的联系,提出了一种深度特征迁移图像生成器结构,可以方便地扩展到其他现有的图像风格迁移模型中。定性与定量试验表明,基于本文方法改进的CycleGAN,在“马到斑马”迁移的实验中,获得了生成图像在真实性与多样性上的提升,以及... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

一l变分自编码器人脸重建结果口4]

VGG‘Net特征重建l4]

以源域图像作输入，通过训练判别器对源图，真实目标图与源图，生成目标图图??像对进行判别，学习生成逼真的目标域图像，同时通过计算生成图像与对应目标域??图像之间的Ｌ１损失，将生成器学习的范围缩小。这种方式相比在像素空间逐像素地??计算误差，能令细节更加丰富与真实，生成更加逼真的图像。??虽然像素空间的Ｌ１损失相比Ｌ２损失能减少模糊，鼓励更多的高频细节，但Ｌ１??仍然会保证低频的正确性，产生平滑模糊的图像。为了得到足够的高频信息，该工??作提出了一种基于图像块判别的判别器ＰａｔｃｈＧＡＮ，将注意力的范围限制在图像局部??的块中，判别器对图像的各个小块进行判别真假，以所有小块的响应作为判别器的??最终输出。每个图像小块的尺寸可以比输入图像的尺寸小得多，并且仍可以产生质??量较高的输出，并且，这对于输出的结果质量相比整张图的判别有所提高，画面细??节更加丰富，同时使判别器的运算量变小，全卷积的结构也适用于任意尺度的输入。??假设像素之间的独立性超过每个图像块的直径，这个做法将判别器建模成了马尔科??夫随机场，这种ＰａｔｃｈＧＡＮ的判别形式也可以理解为一种风格或纹理上的损失函数。??应用ＰａｔｃｈＧＡＮ的方法，该工作成功地训练了高分辨率的图像生成器，图像尺寸可以??达到（５１２ｘ５１２）像素。??Ｌ１?１ｘ１?＿?丨?６ｘ１６?７０ｘ７０?２５６ｘ２５６??

【参考文献】：
期刊论文
[1]生成式对抗网络及其计算机视觉应用研究综述[J]. 曹仰杰,贾丽丽,陈永霞,林楠,李学相.  中国图象图形学报. 2018(10)
[2]生成式对抗网络GAN的研究进展与展望[J]. 王坤峰,苟超,段艳杰,林懿伦,郑心湖,王飞跃.  自动化学报. 2017(03)
[3]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军.  计算机学报. 2017(06)



本文编号：3105419