基于生成对抗网络的人脸遮挡图像修复方法研究
发布时间：2020-09-11 09:42
人脸识别技术近年来得到了显著的发展。但识别有部分遮挡的人脸对于现存的人脸识别技术依旧是一个挑战。在实际应用中,对于有遮挡的人脸图像修复的需求越来越多,如监控和公共安全领域。为了能更好的识别人脸图像,提高识别效率,需要在识别前对有遮挡的人脸图像进行修复还原,因为被遮挡部分通常包含有影响整个面部变化的关键特征信息(例如鼻子、眼睛、嘴巴等)。人脸图像的修复是图像复原领域研究中的一个重要课题。图像复原作为一种常见的图像编辑操作,旨在用合理的内容填充图像中的缺失区域。生成的内容既需要与原始内容保持相似,也要完全符合整体图像,使得复原的图像看上去是真实的。在过去的几十年里,由于其固有的模糊性和自然图像的复杂性,图像复原(图像修复)一直是计算机视觉和图像图形界具有挑战性的研究热点。本文结合传统的基于结构和纹理的图像修复、基于深度学习的图像修复和生成对抗网络的相关知识,分析了人脸的关键点和结构特征信息,提出了一种改进的边界均衡生成对抗网络(BEGAN)模型对遮挡的人脸图像进行生成修复,首先在CelebA数据集上训练BEGAN生成对抗网络,接着将遮挡的人脸图像输入BEGAN中,尝试将遮挡部分进行生成修复;其次为了使得生成的图像与原脸图像更相似和更自然,算法中定义了两个判别网络:全局的结构判别网络负责优化人脸修复图像全局的边缘结构信息和特征信息以保证修复的人脸图像结果符合视觉认知;而局部的纹理判别网络则负责优化所生成的遮挡区域与原脸图像的其它面部内容相似(例如皮肤纹理、色泽等),使生成的人脸图像更加自然连贯。最后综合全局和局部两个判别网络的损失函数,利用反向传播算法,把待修复的人脸图像映射到较小的潜在空间,将映射后的矢量数据输入到BEGAN中生成最佳的人脸修复图像,从而实现人脸遮挡图像的生成修复。本文在CelebA人脸图像数据集中进行了大量的实验,并对实验结果进行了分析对比,主要分为主观评价和客观评价。在主观评价上,主要是让行内和行外人员在视觉感官上对人脸图像修复效果进行评分;在客观评价上,将本文模型与PatchMatch模型和Context Encoder模型做对比实验,使用峰值信噪比和结构相似性指数来比较模型修复效果的优劣。结果表明,本模型能对遮挡的人脸图像实现良好的修复,并优于进行对比实验的两个模型。
【学位单位】：南宁师范大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TP183
【部分图文】：
2.1.1 生成对抗原理多层感知机是对抗模型框架最直接的应用。为了在数据 上学习生成器的分布 ，在入噪声变量 ( )上定义了一个先验，然后将数据空间的映射表示为 ( ; )，其中 表示是一个可微函数，由多层感知机来求解，参数为 。也定义了第二个多层感知器 ( ; )其输出一个标量。 ( )表示 来自数据而不是 的概率。通过不断的训练 ，优化训练样本标签来自 的样本和判别出来自训练样本的概率。同时训练 来最小化log(1 ( ( )))换句话说， 和 使用值函数V( , )来进行下面的二元极小极大博弈：minmax ( , ) = E~ ( )[ ( | )] +~ ( )[ (1 ( ( | )))]. (2-在实际训练中，公式(2-4)并没有能为生成器 提供一个好的梯度。在训练的前期阶段由于生成器 训练状况是很糟糕的，判别器 能够很容易判断出 生成的伪造数据并以高信度拒绝样本，因为它们和训练数据有明显的不同。在这种情况下，log(1 ( ( )))是和的。可以最大化log ( ( ))来训练 ，而不是最小化log(1 ( ( )))。这个目标函数能够使得生成器 和判别器 拥有一个相同固定点，在训练的前期就能够提供健壮的梯度
即 ( ) = 。图 2-4 GAN 网络算法流程图图 2-4 展示了 GAN 训练的伪代码，首先在迭代次数范围内，对随机噪声 和真实样本进行一个批次的采样，分析它们之间的数据分布关系，然后通过随机梯度下降(SGD)的方法先对判别器 做 k 次更新，之后才对生成器 做一次更新，这样做的作用是使得训练前期判别器 就拥有一定的判别能力去分辨真假。但在实践的网络训练中，我们会做相反的事情，是要多更新几次生成器 ，才更新一次判别器 ，这样才能让网络训练下去，而不是一开始就崩溃了
这种似然估计法拥有偏高的方差，并且在高维空间性能不好，但是就我们所知它仍然是最好的方法。可以采样但不能直接估计似然的生成模型的进步直接激发了如何评估此类模型的进一步研究。图2-5展示了训练完成后，生成器G所产生的数据样本。尽管从整体上看，这些数据样本并没有比现有的模型所生成的样本更好，但是相信这些样本也是和现有最好的生成模型的效果相当的，并且对抗模型更具有潜力。图2-5 模型中样本的可视化a)MNIST b)CIFAR-10(全连接模型) c,d)CIFAR-10(卷积判别器和解卷积生成器)
本文编号：2816520
【学位单位】：南宁师范大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TP183
【部分图文】：
2.1.1 生成对抗原理多层感知机是对抗模型框架最直接的应用。为了在数据 上学习生成器的分布 ，在入噪声变量 ( )上定义了一个先验，然后将数据空间的映射表示为 ( ; )，其中 表示是一个可微函数，由多层感知机来求解，参数为 。也定义了第二个多层感知器 ( ; )其输出一个标量。 ( )表示 来自数据而不是 的概率。通过不断的训练 ，优化训练样本标签来自 的样本和判别出来自训练样本的概率。同时训练 来最小化log(1 ( ( )))换句话说， 和 使用值函数V( , )来进行下面的二元极小极大博弈：minmax ( , ) = E~ ( )[ ( | )] +~ ( )[ (1 ( ( | )))]. (2-在实际训练中，公式(2-4)并没有能为生成器 提供一个好的梯度。在训练的前期阶段由于生成器 训练状况是很糟糕的，判别器 能够很容易判断出 生成的伪造数据并以高信度拒绝样本，因为它们和训练数据有明显的不同。在这种情况下，log(1 ( ( )))是和的。可以最大化log ( ( ))来训练 ，而不是最小化log(1 ( ( )))。这个目标函数能够使得生成器 和判别器 拥有一个相同固定点，在训练的前期就能够提供健壮的梯度
即 ( ) = 。图 2-4 GAN 网络算法流程图图 2-4 展示了 GAN 训练的伪代码，首先在迭代次数范围内，对随机噪声 和真实样本进行一个批次的采样，分析它们之间的数据分布关系，然后通过随机梯度下降(SGD)的方法先对判别器 做 k 次更新，之后才对生成器 做一次更新，这样做的作用是使得训练前期判别器 就拥有一定的判别能力去分辨真假。但在实践的网络训练中，我们会做相反的事情，是要多更新几次生成器 ，才更新一次判别器 ，这样才能让网络训练下去，而不是一开始就崩溃了
这种似然估计法拥有偏高的方差，并且在高维空间性能不好，但是就我们所知它仍然是最好的方法。可以采样但不能直接估计似然的生成模型的进步直接激发了如何评估此类模型的进一步研究。图2-5展示了训练完成后，生成器G所产生的数据样本。尽管从整体上看，这些数据样本并没有比现有的模型所生成的样本更好，但是相信这些样本也是和现有最好的生成模型的效果相当的，并且对抗模型更具有潜力。图2-5 模型中样本的可视化a)MNIST b)CIFAR-10(全连接模型) c,d)CIFAR-10(卷积判别器和解卷积生成器)
【参考文献】
相关期刊论文 前1条
1 任澍;唐向宏;康佳伦;;纹理和边缘特征相结合的图像修复算法[J];计算机辅助设计与图形学学报;2013年11期
本文编号：2816520
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2816520.html
