基于生成对抗网络任意人脸替换算法设计与实现

发布时间：2023-09-17 15:58

　　人脸替换是将目标图片中的某个人的身份替换为源图片中的另一个人的身份,同时保留原本的属性,例如头部姿态,面部表情,肤色,光照,背景等。人脸替换在隐私保护、视频合成、游戏渲染以及其他创意应用程序等方面具有广泛应用价值。传统人脸替换常常依托大量的手工劳动来消除瑕疵,存在大量的重复操作,效率低,通用性能差。近年来随着图形学和深度学习的发展,图像生成的效果和效率均取得了巨大提升。针对目前主流的几种人脸替换算法存在的替换效果不佳的问题,本文基于生成对抗网络,交叉重组身份、属性、面部特征点三路特征,提出了一种单个模型、单次训练、单张参考人脸图像即可实现开放集下任意人脸替换的算法,并围绕此算法设计搭建了可稳定高效进行批量人脸替换的自动化框架。开展的主要工作如下:(1)提出了任意人脸替换算法的结构和流程,采用改进后的WGAN作为人脸替换算法的基础结构;引入身份编码器、属性编码器、面部特征点提取器,针对面部特征点耦合身份特征影响生成器身份保持能力的问题,提出了面部特征点转换模块,解耦面部特征点中的身份信息,尽可能地发挥特征点在保持姿态表情方面地作用;介绍了人脸替换算法的损失函数和训练流程,能够无监督地完成...

【文章页数】：73 页

【学位级别】：硕士

【文章目录】：
致谢
摘要
ABSTRACT
1 绪论
    1.1 引言
    1.2 人脸替换方法相关研究
    1.3 本文主要工作及意义
2 基于生成对抗网络的任意人脸替换算法设计
    2.1 人脸替换模型整体框架
    2.2 生成对抗网络介绍
        2.2.1 原始GAN
        2.2.2 Wasserstein距离
    2.3 人脸替换模型各模块分析
        2.3.1 身份编码模块
        2.3.2 属性编码模块
        2.3.3 面部特征点提取及转换模块
        2.3.4 生成器
        2.3.5 判别器
        2.3.6 损失函数及训练流程
    2.4 小结
3 自动化人脸替换框架设计
    3.1 框架流程
    3.2 人脸检测与对齐
    3.3 图像融合
    3.4 分割蒙版策略
    3.5 小结
4 实验结果与分析
    4.1 训练细节
    4.2 评价指标
        4.2.1 图像质量评价
        4.2.2 身份保持评价
        4.2.3 属性保持评价
    4.3 实验对比结果
        4.3.1 上采样方法对比
        4.3.2 模块消融测试
        4.3.3 与现有方法对比
    4.4 小结
5 总结与展望
    5.1 主要研究成果
    5.2 未来研究工作展望
参考文献
攻读硕士学位期间所取得的科研成果和荣誉



本文编号：3847746