基于生成对抗网络的分级联合图像补全方法
发布时间:2021-11-02 04:52
图像补全技术是指根据图像中缺失或损坏区域的上下文信息将图像补全为完整的图像,并达到真实、自然的补全效果。图像补全技术是低级视觉中的基本问题,目前已经引起了计算机视觉和图形领域的广泛兴趣。已有的图像补全方法大都基于面积较小或者位于图像中心的缺失区域,当缺失区域面积较大或者位于图像边缘位置时,补全结果便会产生空白、失真及伪彩色等现象。论文在已有方法的基础上提出了一种基于生成对抗网络的分级联合图像补全方法,即采用生成对抗的方式,对大面积和位于图像边缘位置的缺失区域进行分级联合补全。首先以补全网络的生成图像和原始完整图像之间的均方误差损失为目标函数,通过补全网络进行反复迭代,得到初步补全的图像;然后固定补全网络,将初步补全的图像划分为图像的全部区域、以补全区域为中心的区域和补全区域的中心区域三部分,并分别输入到对应的判别网络中进行反向传播训练;最后将补全网络和判别网络一起迭代训练。此外,还针对原始生成对抗网络训练的不稳定问题对网络结构做出了改进。该方法的优势在于:一方面,通过将图像进行分区,保证了补全结果的全局、局部一致性及生成的纹理信息的真实性;另一方面,通过添加局部判别网络并对原始网络结构...
【文章来源】:北京林业大学北京市 211工程院校 教育部直属院校
【文章页数】:57 页
【学位级别】:硕士
【部分图文】:
基于结构纹理的图像修复算法效果图
第二章相关工作及国内外研究进展7各个区域的颜色等纹理信息具有很强的相似性时才能取得较好的效果,因此这种直接从周围信息截取图像块的方法不具有通用性。基于深度学习的图像补全方法保留了图像的语义特征和结构信息,提高了大面积缺失区域的图像补全效果,使补全的图像更加真实、自然。此外,相对于传统的图像补全方法,基于深度学习的图像补全方法不需要经过复杂的计算模拟数据分布,提高了图像补全的效率,是图像补全技术里程碑式的发展。在深度学习领域,生成对抗网络(GenerateAdversarialNetwork,GAN)(Goodfellowetal.,2014)是被用于图像生成的最常见的一种网络结构。GAN中的生成网络和判别网络通过对抗训练可以生成清晰且合理的纹理内容(Pathaketal.,2016;Yehetal.,2016;Yangetal.,2017)。最早提出将GAN应用于图像补全的是Pathak等人(Pathaketal.,2016),通过将编码器-解码器结构(encoder-decoder)与GAN相结合,进行无监督训练,结合L2损失和对抗损失,得到编码器-解码器卷积神经网络模型。该模型的生成速度很快,只需要一次前向传播,但是由于该网络模型中的全连接层不能保存精确的空间信息,会使得生成的缺失区域周围出现可见的伪影,如图2.3所示。对此,研究者在Pathak等人的基础上又做出了一系列改进,如Li等(Lietal.,2018)提出的上下文感知语义补全方法,Yang(Yangetal.,2017)等人提出的基于图像内容和纹理约束的图像补全方法等。目前,图像补全方法已经取得了很显著的成果,但是针对大面积和位于边缘位置的缺失区域的图像补全,还存在很多弊端。本文就是在已有的工作的基础上针对大面积缺失区域和边缘缺失区域的图像补全做出了改进。图2.3Pathak方法的补全结果Figure2.3CompletionresultsofPathak’smethod
程中网络任意一层数据进行归一化处理,克服了数据分布不同的问题,加快了训练的收敛速度,防止了梯度弥散而导致的模型不可用等问题。再者就是用反卷积层(Zeileretal.,2011)代替全连接层,加快了网络的训练速度,并且使得网络的输入可以是任意尺寸。最后就是使用了不同的激活函数,DCGAN中生成网络使用ReLU激活函数(Nairetal.,2010),通过使用有界激活函数,使得生成网络的学习很快收敛,并适应颜色空间;判别网络的激活函数leakyReLU(Xuetal.,2018),可以使判别网络的分辨能力更准确,尤其是对于高分辨率图像。图2.6DCGAN的网络结构模型图Figure2.6NetworkstructuremodelofDCGANDCGAN是GAN的一个里程碑式的发展,在图像生成任务方面取得了非常好的效果,此后GAN的各种衍生模型也都以DCGAN模型为标准。2.2.6Wasserstein生成对抗网络在WGAN之前,有研究者指出原始GAN训练过程中在保持判别网络最优的前提下,存在两大问题。第一个问题是当判别网络最优时,训练的目的等价于不断地将生成样本与真实样本分布之间的JS散度(Jensen-Shannondivergence,即交叉熵)最小化,但是生成网络在生成数据的过程中首先是从某个低维进行采样,然后将得到的向量经过神经网络后扩充到高维空间,但是由于生成网络的参数是固定的,生成的数据一般与真实数据的维度相差较大,无法填满整个空间,从而导致生成数据和真实数据
本文编号:3471374
【文章来源】:北京林业大学北京市 211工程院校 教育部直属院校
【文章页数】:57 页
【学位级别】:硕士
【部分图文】:
基于结构纹理的图像修复算法效果图
第二章相关工作及国内外研究进展7各个区域的颜色等纹理信息具有很强的相似性时才能取得较好的效果,因此这种直接从周围信息截取图像块的方法不具有通用性。基于深度学习的图像补全方法保留了图像的语义特征和结构信息,提高了大面积缺失区域的图像补全效果,使补全的图像更加真实、自然。此外,相对于传统的图像补全方法,基于深度学习的图像补全方法不需要经过复杂的计算模拟数据分布,提高了图像补全的效率,是图像补全技术里程碑式的发展。在深度学习领域,生成对抗网络(GenerateAdversarialNetwork,GAN)(Goodfellowetal.,2014)是被用于图像生成的最常见的一种网络结构。GAN中的生成网络和判别网络通过对抗训练可以生成清晰且合理的纹理内容(Pathaketal.,2016;Yehetal.,2016;Yangetal.,2017)。最早提出将GAN应用于图像补全的是Pathak等人(Pathaketal.,2016),通过将编码器-解码器结构(encoder-decoder)与GAN相结合,进行无监督训练,结合L2损失和对抗损失,得到编码器-解码器卷积神经网络模型。该模型的生成速度很快,只需要一次前向传播,但是由于该网络模型中的全连接层不能保存精确的空间信息,会使得生成的缺失区域周围出现可见的伪影,如图2.3所示。对此,研究者在Pathak等人的基础上又做出了一系列改进,如Li等(Lietal.,2018)提出的上下文感知语义补全方法,Yang(Yangetal.,2017)等人提出的基于图像内容和纹理约束的图像补全方法等。目前,图像补全方法已经取得了很显著的成果,但是针对大面积和位于边缘位置的缺失区域的图像补全,还存在很多弊端。本文就是在已有的工作的基础上针对大面积缺失区域和边缘缺失区域的图像补全做出了改进。图2.3Pathak方法的补全结果Figure2.3CompletionresultsofPathak’smethod
程中网络任意一层数据进行归一化处理,克服了数据分布不同的问题,加快了训练的收敛速度,防止了梯度弥散而导致的模型不可用等问题。再者就是用反卷积层(Zeileretal.,2011)代替全连接层,加快了网络的训练速度,并且使得网络的输入可以是任意尺寸。最后就是使用了不同的激活函数,DCGAN中生成网络使用ReLU激活函数(Nairetal.,2010),通过使用有界激活函数,使得生成网络的学习很快收敛,并适应颜色空间;判别网络的激活函数leakyReLU(Xuetal.,2018),可以使判别网络的分辨能力更准确,尤其是对于高分辨率图像。图2.6DCGAN的网络结构模型图Figure2.6NetworkstructuremodelofDCGANDCGAN是GAN的一个里程碑式的发展,在图像生成任务方面取得了非常好的效果,此后GAN的各种衍生模型也都以DCGAN模型为标准。2.2.6Wasserstein生成对抗网络在WGAN之前,有研究者指出原始GAN训练过程中在保持判别网络最优的前提下,存在两大问题。第一个问题是当判别网络最优时,训练的目的等价于不断地将生成样本与真实样本分布之间的JS散度(Jensen-Shannondivergence,即交叉熵)最小化,但是生成网络在生成数据的过程中首先是从某个低维进行采样,然后将得到的向量经过神经网络后扩充到高维空间,但是由于生成网络的参数是固定的,生成的数据一般与真实数据的维度相差较大,无法填满整个空间,从而导致生成数据和真实数据
本文编号:3471374
本文链接:https://www.wllwen.com/kejilunwen/shengwushengchang/3471374.html
最近更新
教材专著