最大间隔生成式对抗网络及其在图像生成和修复中的应用

发布时间：2021-11-03 11:39

　　图像生成技术作为计算机视觉领域难度最高、最具有挑战性的研究课题之一,需要计算机对图像语义信息有较强的理解能力。而传统的生成式模型受制于模型复杂度制约,无法利用较高层的语义信息。近年来基于深度神经网络（Deep Neural Nwtworks,DNN）的方法在图像生成领域发展迅速,目前典型的算法有深度信念网络（Deep Belief Nwtworks,DBN）、变分自编码模型（Variational Auto-Encoder,VAE）和生成式对抗网络（Generative Adversarial Nets,GAN）。这些方法展现了深度模型强大的特征学习和表达能力。然而尽管这类方法在图像生成领域取得较大进展,目前其生成的图片仍然分辨率较低,且生成图片质量距离真实图片仍有较大差距。这说明图像生成技术仍然面临很大挑战。图像修复技术的目的是自动对图像缺损区域进行填充,使得整张图片看起来较为完整。图像修复技术可被应用于修复损坏图片或者去除目标物体。早期的相关工作没有利用高层语义信息,因此效果也受到限制。为了对待修复图片的高层语义信息有更深刻的理解,基于深度学习的方法开始被应用到图像修复中。本文首先... 

【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：105 页

【学位级别】：硕士

【部分图文】：

–1神经网络结构示意图[6]

它具有一个可见层 (Visible Layer) 和一个隐藏层 (Hidden Layer)，可见层由可见单元 (Visible Units) 组成，隐藏层由由隐单元 (Hidden Units) 组成，层内神经元之间无连接，层间神经元之间全连接，如图1–2所示, 图中 h 和 v 分别代表隐单元和可见单元。在 RBM 中可见层用于输入训练数据，输入信号通过可见层进入网络并传播到隐藏层，各隐藏层神经元的激活状态相互独立。隐藏层用于特征检测，其信号通过反向传播到可见层，可见层神经元的激活状态同样相互独立。RBM 利用隐变量来表达描述输入数据的特征分布，该过程没有用到数据的标签信息，因此 RBM 是一个无监督生成模型。单层 RBM 网络的目的是以无监督的方式训练网络，使得可见层节点v的分布p v尽可能地拟合真实样本空间的分布q v。训练过程中 RBM 的权值通过计算 p v 的对数似然 logp v 的梯度来更新，该计算过程关系到求解 RBM 所确定分布的期望。从理论上可以证明，对于 RBM网络结构只要隐藏层的隐藏神经元节点足够多

卷积层大大降低了网络参数的规模，且可以很好地保留图像的局部特征，每个卷积核一般只学习一种特征，且越高层的卷积核学习到的特征也越抽象，其工作原理如图1–3所示。CNN 由于其卷积核的优越性能可以胜任大部分计算机视觉任务，是现在最为流行的 DNN 模型。图 1–3 CNN 结构示意图 [21]Fig 1–3 The structure of CNN[21]目前 DNN 在计算机视觉各个领域都取得了远超传统方法的效果，DBN 作为较早期的 DNN 模型最先展示了深度模型的巨大潜力。后来 CNN 引入后相较于 DBN 表现出非常大的优势，包括参数规模小，容易训练，保留局部特征等，因此迅速取代 DBN 成为研究热度最高的深度神经网络。CNN 最初处理的是有监督的判别式任务，在分类，检测等任务上表现出色，之后也被推广到无监督领域，并和生成式模型相结合来进行图像生成，Ranzato[22] 和 Dosovitskiy[23]提出 CNN 可以用来生成某一个具体的域的图片（如椅子，人脸等），但是需要大— 8 —


本文编号：3473615