基于生成对抗网络的人体局部图像合成方法研究

发布时间：2025-01-01 00:14

　　在医疗康复、人机交互和公共安全等领域,利用计算机技术理解人体局部图像具有重要意义。为此,一些人脸属性合成和编辑方法以及3D手势估计方法相继提出,并逐渐在相关领域得到广泛应用。现有的人脸属性合成和编辑方法虽能根据属性标签有效合成目标人脸图像,但合成的目标人脸图像质量依然有待提高。为解决此问题,本文提出了一种新颖的人脸属性合成和编辑多任务方法ARU-G AN。此外,为进一步研究人体手部图像,本文对ARU-GAN方法进行改进,提出了一种3D手势估计及手部深度图像合成方法HDR-GAN,具体研究内容如下:1、针对当前人脸属性合成和编辑方法难以根据指定属性标签合成高质量目标人脸图像的问题,本文提出了一种基于ARU-net的多任务方法ARU-GAN。该方法中的ARU-net在编-解码器结构的基础上引入跳跃连接有效融合输入人脸图像的不同层级特征,并在训练时使用对抗正则化项约束潜变量,在人脸属性合成和编辑任务中合成高质量的目标人脸图像。为进一步提升合成的目标人脸图像质量,ARU-GAN采用上述任务所合成的目标人脸图像对判别器进行联合训练。实验结果表明,ARU-GAN在人脸属性合成和编辑任务中能够根据指定...

【文章页数】：78 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景及意义
    1.2 研究现状与进展
        1.2.1 人脸图像合成方法的研究现状
        1.2.2 3D手势估计及手部图像合成方法的研究现状
    1.3 本文研究内容与结构安排
第2章 人体局部图像数据介绍
    2.1 人体局部图像数据集介绍
        2.1.1 人脸图像数据集介绍
        2.1.2 手部图像数据集介绍
    2.2 人体局部图像数据预处理
        2.2.1 人脸图像数据预处理
        2.2.2 手部图像数据预处理
    2.3 本章总结
第3章 基于对抗正则化U-net的人脸图像合成
    3.1 神经网络基础
        3.1.1 人工神经网络
        3.1.2 卷积神经网络
    3.2 条件生成模型
        3.2.1 基于VAE的条件生成模型
        3.2.2 基于GAN的条件生成模型
    3.3 人脸属性合成和编辑相关方法
        3.3.1 IFcVAEGAN方法介绍
        3.3.2 StarGAN方法介绍
    3.4 基于ARU-net的人脸属性合成和编辑方法
        3.4.1 网络结构设计
        3.4.2 损失函数和网络训练
    3.5 性能评价指标
        3.5.1 人脸属性合成任务评价指标
        3.5.2 人脸属性编辑任务评价指标
    3.6 ARU-GAN方法的实验结果分析
        3.6.1人脸属性合成结果分析
        3.6.2 人脸属性编辑结果分析
        3.6.3 消融实验分析
        3.6.4 其它数据集实验结果分析
    3.7 本章总结
第4章 基于HDR-GAN的3D手势估计及手部深度图像合成
    4.1 基于RGB图像的3D手势估计相关方法
    4.2 基于HDR-GAN的3D手势估计及手部深度图像合成方法
        4.2.1 网络结构设计
        4.2.2 损失函数
    4.3 HDR-GAN方法的实验结果分析
        4.3.1 3D手势估计结果分析
        4.3.2 HPE-GAN的消融实验分析
        4.3.3 手部深度图像合成结果分析
        4.3.4 基于RGB图像的手部深度图像重建结果分析
    4.4 本章总结
第5章 总结与展望
    5.1 本文工作总结
    5.2 未来工作展望
参考文献
致谢
在读期间发表的学术论文与取得的其他研究成果



本文编号：4021753