基于生成对抗网络的无监督图像翻译方法研究

发布时间：2021-11-04 01:23

　　图像翻译是将图像的一种表示场景转换成另一种场景的图像域变化任务,主要应用在交通、医疗和日常生活等多个方面,是计算机图像处理领域的研究热点之一。本文针对基于生成对抗网络的无监督图像翻译方法展开研究和改进,提高生成图像与输入图像的内容一致性、图像域一致性,增强翻译图像的翻译效果与真实性,具体内容如下:（1）研究单图像域无监督图像翻译方法。针对基于生成对抗网络的单图像域无监督图像翻译中训练过程不稳定、无关域改变较大而导致翻译图像细节模糊、真实性低的问题,基于对偶学习提出了一种融合自注意力机制和相对鉴别的无监督图像翻译方法。在模型的生成器中引入自注意力机制加强图像生成过程中像素间远近距离的关联关系,在低、高卷积层间增加跳跃连接,降低无关图像域特征信息损失;在判别器中使用谱规范化防止因鉴别能力突变造成的梯度消失,增强训练过程中整体模型的稳定性。在损失函数中基于循环重构增加自我重构一致性约束条件,专注目标域的转变,设计相对鉴别对抗损失指导生成器和判别器之间的零和博弈,完成单图像域的无监督图像翻译。实验验证了该方法提高了翻译图像的质量。（2）研究多图像域无监督图像翻译方法。针对基于生成对抗网络的多图... 

【文章来源】：武汉理工大学湖北省 211工程院校 教育部直属院校

【文章页数】：76 页

【学位级别】：硕士

【部分图文】：

图像翻译示例

11确度等合适的客观评价对实验进行分析。1.4本文组织结构本文共分为五章，具体组织结构如图1-2所示。图1-2章节组织结构第1章为绪论部分。该章首先介绍了本文的研究背景及意义，然后从生成对抗网络和无监督图像翻译两个方面对研究现状进行分析，并详细阐述了本课题的主要研究内容和本文的章节安排。第2章阐述了本文提出的融合自注意力机制和相对鉴别的单图像域无监督图像翻译方法。首先分析了无监督图像翻译的特点以及已有方法的不足，在此基础上研究自注意力机制和相对鉴别对抗的原理，设计了基于对偶学习的生成对抗网络图像翻译方法。第3章阐述了本文提出的融合属性类别标签与双尺度判别的多图像域无监督图像翻译方法。首先分析了多图像域无监督图像翻译的特点以及已有方法的不足，在此基础上研究自适应实例归一化技术在图像翻译中的应用，提出了基于属性类别标签的多图像域无监督图像翻译方法。第4章实验结果及分析。首先构建了实验环境和训练所用图像数据集，并描述了几种主观评价与客观评价标准，然后对本文改进的单图像域无监督图像翻译方法和多图像域无监督图像翻译方法分别与现有方法进行实验及结果分析。第5章总结与展望。阐述了本文的主要研究工作及对成果的总结，并指出本文方法存在的不足和进一步发展的方向，对未来后续研究工作做出展望。

13图2-1配对与非配对数据示例基于非配对的训练数据集中，在保证图像内容一致性和图像域一致性的条件下，完成图像翻译工作，成为无监督图像翻译研究的主要内容。在图像内容一致性方面，有监督的图像翻译有明确的目标图像，因此可以使用输出图像与目标图像的差异作为损失函数，以训练数据集中的目标图像为枢纽建立输入图像与输出图像的映射关系，保证翻译过程中内容的一致性。无监督图像翻译中，训练数据集中缺少明确的目标图像，不能直接指导生成器在翻译过程中保留结构、内容等固有图像属性信息。图像翻译中图像在图像域之间进行变换时，仅指定的图像域信息发生了改变，不同图像域中的图像共享潜在的图像固有属性及无关图像域等特征信息。因此，无监督的图像翻译可以通过提取潜在特征向量和循环重构两种方法保证图像内容一致性。使用编码器和解码器结构共同构成生成器网络，通过编码器提取不同图像域中图像共享的潜在特征向量，再通过各个图像域特定的解码器完成特征向量到真实图像的生成工作。但是对数据的编码不能保证特征向量的完整性，会改变图像内容。基于对偶学习的思想，将图像先映射到目标域再映射回原域，构成循环重构过程，可以更好地保证翻译过程中的内容一致性，但是仅有循环重构并不能准确定位翻译的指定图像域，无关图像域信息也会发生变化。在图像域一致性方面，有监督的图像翻译根据明确的目标图像即可确定输出图像的图像域信息，判别器的真伪判定进一步指导生成器生成清晰真实的图像。无监督的图像翻译则需要充分利用判别器的判别能力，限制生成器的输出图像为指定图像域图像。判别器在进行真伪鉴定的过程中，是将输入的真实图像作为对比，进而对生成图像进行评判。因此，在无监督的图像翻译中通常使用多个

【参考文献】：
期刊论文
[1]人工智能研究的新前线:生成式对抗网络[J]. 林懿伦,戴星原,李力,王晓,王飞跃.  自动化学报. 2018(05)
[2]生成式对抗网络研究进展[J]. 王万良,李卓蓉.  通信学报. 2018(02)



本文编号：3474724