基于分离表示的人脸图像生成

发布时间：2021-07-30 16:42

　　近年来基于深度学习的图像生成高速发展,人脸图像由于其丰富的应用,成为了图像生成的重要焦点。定制化人脸生成具有广泛的应用场景,例如身份替换,年龄性别定制等技术已经在社交娱乐领域催生了大量应用,与此同时,人脸重演技术是动态头像、虚拟主播等新兴应用的重要基础。本文提出了一种全新的基于生成式对抗网络的人脸生成算法,该算法可以将人脸的身份信息、表情姿态和环境属性分离,通过对三个分离表示的控制和重组,实现了高度可控的人脸定制化生成。利用不同的重组方式,单一模型可以同时支持人脸身份替换和人脸重演两类应用。算法框架分为人脸属性提取和融合生成两部分,属性提取部分可以从输入的人脸图像中提取身份向量,人脸关键点和环境向量。融合生成部分以三种属性作为输入,生成一张新的人脸。在视频人脸身份替换应用中,人脸关键点和环境向量由视频帧中的人脸提供,而身份向量由单张目标人脸提供,由此可生成保持视频人物动作姿态环境但带有目标人脸身份的新人脸,以完成视频人物的身份替换。在人脸重演应用中,通过单独调整人脸关键点输入,即可精确控制生成人脸的表情和姿态。为实现基于分离表示的人脸生成,我们基于生成式对抗网络设计了可控融合生成网络框... 

【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：49 页

【学位级别】：硕士

【部分图文】：

图３－１?Ｘ－Ｆａｃｅ网络架构图??１２??

数据标注成本。由于上述的人脸关键点的这些优势，将其作为可控人脸生成??的一个属性分量来进行提取是十分合适的。??ＥＬ：?Ｅｎｃｏｄｅｒ＿ＬａｎｄＭａｒｋ??—＊■?ＵＮｅｌ?—＊?ＢＮｅｌ?－＊??ｒ．ｒｕｐ?￥??Ａ??＿．．．．．．．?????Ｒｆ５＜ｗ?．．．．．?？?????ｔ，Ｔ．．Ｌ？Ｋｈ？Ｍｒｋ：?ＷＩｊｃ?—－？?—＜????……．？…????：??■?ｍ?■?＇?Ａ?Ａ??输入图像?关键边标注关键边预测结果关键点预测结果??图３－２?ＥＬ模块训练流程及两阶段预测流程??１３??

，同时在大数据量的预标注数据??集上训练最终模型的方案。我们选取了经典的公开数据集３００Ｗ［４５］和难度较大的??公开数据集ＷＦＬＷ［４４］来帮助我们暴露出算法的问题并加以解决。??３００Ｗ包含３１４８张训练样本，５５４张测试样本，带有６８点关键点标注。３００Ｗ??数据集难度适中但数据量很小，同时６８点的标注更加稀疏，经过在该数据集上的??训练测试，我们发现关键边的错误经常发生在线段两端，其表现为过长或过短，由??此现象我们提出了关注端点的ＬＡＱＬｏｏｋ?Ａｔ?Ｃｏｒｎｅｒ）策略，如图３－３所示，我们在??连线得到关键边标注时，在线段端点额外加入了辅助线，驱使网络关注端点，本质??上增加了端点预测失误时的惩罚，经过实验可以发现这一策略在主观上能明显缓??解端点错误现象，同时在指标上能有效降低第二阶段关键点预测的误差率。??关键边标注?ＬＡＣ训练前?ＬＡ〇ｌｌ＿???■Ｈｉ??圓３霞卜??图３－３?ＬＡＣ策略使用前后结果对比?图３－４?ＳＦＴ策略使用前后结果对比??ＷＦＬＷ数据集是近期开源的公开数据集，包含７５００张训练样本，２５００张测??１５??


本文编号：3311761