基于生成式对抗网络的人脸图像补全研究

发布时间：2022-02-12 08:04

　　近年来,人脸图像补全技术成为了计算机视觉领域的研究重点之一,其中基于深度学习,特别是基于生成式对抗网络的人脸图像补全技术更是重中之重。神经网络能通过数据集中学习人脸的特征,并且从缺损人脸图像中未缺失的部分分析特征并且预测出缺失部分的内容,这使得基于生成式对抗网络的人脸补全模型能生成图片中未必存在的内容,让修复的效果更加逼真。在现实中,人脸图像缺失的内容往往是未缺失部分中不存在的。因此,基于生成式对抗网络的人脸图像补全模型则具有实用价值。针对现有的基于生成式对抗网络所存在的问题,本文从利用完整的图像空间依赖性提取人脸特征和补全不同姿态的非对称人脸这两个方面做进一步的研究工作,具体如下:生成网络对人脸图像的结构特征提取的完整与否直接影响图像补全模型的性能。然而,现有的大部分工作并没有充分利用空间依赖性来提取特征,这使得提取到的特征不够完整。在第三章中提出了一种利用双向像素长短时记忆（Long Short-term Memory Network,LSTM）的网络解决这一问题。具体来说,它由两个LSTM子网络组成,可以逐行或逐列同时扫描输入图像,因此提取的特征包含了行之间或列之间的依赖信息。通... 

【文章来源】：重庆邮电大学重庆市

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

判别网络

重庆邮电大学硕士学位论文第3章基于双向像素LSTM网络的人脸补全35对比结果表明，虽然CE、GL、LPC和HDC可以很好地在缺失区域生成合适的人脸特征，但是所生成区域的语义与周围区域不同。生成区域仍然是模糊的，(1)Orign(2)Mask(3)CE(4)GL(5)HDC(6)LPC(7)Ours图3.6补全结果的展示生成区域的边缘比本章节模型更明显。原因是CE、GL、LPC和HDC没有充分利用像素间的空间依赖性来学习人脸结构，对每个人脸图像的人脸结构理解不够好。生成区域像素与已知区域像素无关。然而，实验的结果在空间上依赖于已知区域中的每个像素，并且实验的结果像素与已知区域相关。因此，本章节模型可以在完成具有相似模式的对称正脸的人脸图像时取得更好的效果。此外，CE模型在训练过程中消耗的时间是本模型的两倍。

重庆邮电大学硕士学位论文第3章基于双向像素LSTM网络的人脸补全36M1M2M3M4M5图3.7遮罩实例表3.3不同模型分别在五种不同遮罩下的PSNR结果(M1-M5)。M1M2M3M4M5CE[17]21.4421.0319.5920.8219.51GL[18]21.3022.4621.0721.2919.90PartialConv[22]21.5421.3320.0921.0319.61HDConv[63]22.2023.2521.4621.8820.92LPConv[64]22.1323.1721.3821.7920.38PixelLSTM22.2922.2421.1421.6120.38Bi-directionalpixelLSTM22.7323.9122.0322.4421.37表3.4不同模型分别在五种不同遮罩下的SSIM结果(M1-M5)M1M2M3M4M5CE[17]0.8320.8200.7810.8140.804GL[18]0.8250.8480.8150.8220.802PartialConv[22]0.8450.8710.8370.8340.810HDConv[63]0.8570.8810.8450.8400.819LPConv[64]0.8550.8790.8420.8380.816PixelLSTM0.8460.8650.8140.8310.807Bi-directionalpixelLSTM0.8700.8930.8530.8500.824本章使用包含大部分对称人脸图像的测试集来测试CE网络、GL网络、PConv网络、HDConv网络、LPConv网络、pixelLSTM网络和双向像素LSTM网络，并使用PSNR和SSIM来评估各个模型的性能。为了更全面地测试本章节模型，实验在5个不同的、随机的和不规则的遮罩(M1-M5)中测试了模型。本模型删除了冗余的背景信息。遮罩的形状如图3.7所示，以及对比结果如表3.3和表3.4所示。

【参考文献】：
期刊论文
[1]基于图像块相似性和补全生成的人脸复原算法[J]. 苏婷婷,王娜.  科学技术与工程. 2019(13)

硕士论文
[1]基于GAN的人脸图像补全算法研究[D]. 张大伟.长安大学 2019



本文编号：3621350