基于生成对抗网络的多视角表征学习和图像转换补全

发布时间：2020-10-20 23:18

　　 随着互联网上图像数据的快速增长,如何根据已知的输入图像生成高质量目标图像以完成图像转换和图像补全任务已成为计算机视觉领域的研究热点之一。针对这两种任务,本文提出了基于生成对抗网络的图像转换和图像补全方法。目前多数图像转换/补全算法都基于卷积神经网络(Convolutional Neural Networks,CNN)和生成对抗网络(Generative Adversarial Networks,GAN)。一方面,卷积神经网络中卷积层和转置卷积层的组合搭建了从输入图像到输出图像之间映射的编码—解码网络架构。另一方面,生成对抗网络除使用这种编码—解码网络架构作为图像生成网络之外,还增加了判别网络以完成对抗训练。现有基于GAN的算法在多视角图像转换应用场景下,其可扩展性仍需进一步改进。因此本文提出了基于共同编码信息生成对抗网络的多视角图像转换和补全算法(Mutual Encoding Info-Generative Adversarial Networks,MEIGAN)。算法首先使用多分支且部分网络层共享参数的共同自编码器进行多视角表征学习,这种多分支网络结构可以适应于不同视角数目的多视角表征学习,因此扩展性更好。接着使用表征学习的结果作为输入来完成第二阶段基于信息生成对抗网络的图像转换/补全任务。在MNIST数据集上对表征的t-SNE可视化和在低维表征空间的插值分析都表明了所学表征的有效性。在MNIST、CelebA数据集上的图像补全任务,和在3D椅子、MVC和CUFS数据集上的图像转换任务中,与现有最好方法的定性和定量对比都表明了MEIGAN的有效性。已有方法的损失函数大多使用像素级重构损失,这往往会导致模型倾向于生成模糊的图像。因此在人脸眼部补全任务中,本文额外考虑了同身份人脸的眼部参考信息,并将动差重构损失和像素级重构损失结合,最终提出基于动差重构损失的模范生成对抗网络(Exemplar Moment Reconstruction Generative Adversarial Networks,ExMRGAN)。为验证所提出的ExMRGAN的有效性,我们在Celeb-ID数据集上展开人脸眼部补全任务的实验。与基准模型ExGAN的定量、定性对比结果,以及和商业图像编辑软件Adobe Photoshop Elements 2018的定性对比结果,均表明所提出的ExMRGAN能生成更高质量的人眼补全图像结果。
【学位单位】：大连理工大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TP18
【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景
    1.2 研究意义
    1.3 研究现状
        1.3.1 多视角表征学习研究现状
        1.3.2 图像转换和图像补全研究现状
    1.4 本文工作与贡献
    1.5 本文结构
2 基础知识与关键技术
    2.1 卷积神经网络
    2.2 生成对抗网络
    2.3 本章小结
3 基于共同自编码信息生成对抗网络的图像转换和补全
    3.1 基于共同自编码器的多视角表征学习方法
        3.1.1 问题描述
        3.1.2 算法描述和损失函数
        3.1.3 实验结果与分析
    3.2 基于共同编码信息生成对抗网络的图像转换及补全算法
        3.2.1 基础模型:生成对抗网络
        3.2.2 基础模型:信息生成对抗网络
        3.2.3 共同编码信息生成对抗网络
        3.2.4 图像转换和补全的实验
        3.2.5 在MNIST数据集上的表征插值分析
    3.3 对共享网络层数的讨论
    3.4 本章小结
4 基于动差重构损失模范生成对抗网络的人脸眼部补全
    4.1 问题描述及研究目标
    4.2 基础模型
        4.2.1 模范生成对抗网络
        4.2.2 动差重构损失
    4.3 基于动差重构损失的模范生成对抗网络
    4.4 实验设置与结果
        4.4.1 Celeb-ID数据集
        4.4.2 详细实验设置和网络结构
        4.4.3 评测标准
        4.4.4 实验结果对比
    4.5 本章小结
5 总结与展望
    5.1 总结
    5.2 展望
参考文献
攻读硕士学位期间发表学术论文情况
致谢

【相似文献】

相关期刊论文 前10条

1 张文;将BMP图像转换为PCB文件[J];电子科技;2000年17期

2 郭振海;批量图像转换高手[J];家庭电子;2001年06期

3 蔡晓晖;超级图像转换工具[J];电脑爱好者;1996年02期

4 贾凌昌;;社会主义核心价值观大众传播的图像转换[J];伦理学研究;2016年04期

5 ;Convert It Now——批量图像转换能手[J];电子科技;2001年04期

6 张翔;;培养图像转换能力 提高地理复习效率[J];商情(教育经济研究);2008年06期

7 李梅;;24位图像到8位图像转换方案研究[J];才智;2010年05期

8 张帆;杜文风;张皓;;提高拓扑优化结构光顺度的图像转换法[J];河南大学学报(自然科学版);2019年05期

9 范学祯;;YUV图像转换为BMP图像的硬件实现[J];大众科技;2014年08期

10 DONWILLMOTT ,胡景凡;FreeseFrame:文件转换的强手[J];个人电脑;1994年01期

相关硕士学位论文 前7条

1 姚瑶;基于生成对抗网络的图像转换方法研究[D];大连理工大学;2019年

2 康文婧;基于生成对抗网络的多视角表征学习和图像转换补全[D];大连理工大学;2019年

3 于静莹;面向医学图像转换的中间件设计[D];东北师范大学;2008年

4 唐继尧;实用PACS浏览器应用系统设计与开发[D];电子科技大学;2015年

5 黄珺珺;数字图像转换与校正电路设计[D];上海交通大学;2007年

6 王金曌;民国时期基督教艺术形象中国化研究[D];华中师范大学;2015年

7 杨雄;基于openEHR的肝脏CT图像转换和分割研究[D];浙江大学;2015年

本文编号：2849296