基于深度学习的人脸老化合成研究
发布时间：2021-08-24 11:05
人脸老化合成是指利用计算机技术分析自然人脸图像中年龄特征,渲染出个体在目标年龄下的衰老样貌,也叫年龄合成或年龄递进。人脸老化合成技术在人脸识别、人机交互、刑侦、娱乐及医学等领域有着非常广泛的应用。随着深度学习理论的发展,以深度学习网络为工具,构建从人脸图像像素值到高层次衰老特征的网络模型,较传统人脸老化合成方法可以得到更自然、更逼真、更合理的老化效果,相关人脸老化合成研究具有重要的意义。当前,基于深度学习的人脸老化合成面临着面部衰老特征描述困难、衰老模态单一、低分辨率输入引起的老化人脸图像失真等研究难点。本文针对上述问题,研究工作和创新成果如下:（1）提出了基于分治策略的小年龄人脸老化合成算法小年龄人脸在成长过程中,面部特征受内在因素的影响同时出现形状变化和纹理变化。针对上述问题,本文提出的基于分治策略的小年龄人脸老化合成算法设计了并行的几何形变生成对抗网络和纹理迁移生成对抗网络。在几何形变生成对抗网络中,本文利用面部形状定位点信息来描述当前输入人脸图像的几何特征,并使用生成对抗思想学习面部轮廓、面部器官的几何成长形变;在纹理迁移生成对抗网络中,预训练的年龄预测模型被用作面部纹理显著性...
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：118 页
【学位级别】：博士
【部分图文】：
方法[2]合成的老化人脸Figure1-1Theagingsimulationresultsin[2]
绪论3型模型的方法、传统机器学习模型的方法及深度学习模型的方法。具体归纳为：(1)基于几何物理的人脸老化合成受D’arcyThompson所提出形态学的影响[21]，在早期的研究中[15,16,22-24]，研究者们使用几何物理类方法对面部衰老建模。这类方法将面部肌肉或皮肤分解为二维或三维的几何单元，使用心源性转换模型[15]、三维形状模型[25]、人体测量学模型[26]、颅面生长模型[27]等来表示人脸图像。图1-2给出了典型的人脸老化几何物理模型。基于几何物理的人脸老化模型将人脸衰老转化为物理模型参数中线性和非线性约束，通过单元顶点位移和插值对人脸图像进行拉伸、描绘等操作，生成合成的老化图像。因此，几何物理模型建模以及合成变换操作是该类老化合成方法的关键。Pittenger等人[16]将面部建模为心源性变换模型，其将人脸老化定义为颅面复合体上的粘弹性事件。通过对面部轮廓拉伸、剪切和心源性变换等操作，合成目标年龄的老化人脸。之后，Todd等人[15]在其工作基础上，通过对作用于头部的流体静力学分析，提出了“修正”的心源性变换模型。进一步，Mark等人[17,28,29]将这个模型推广到三维中，得到了三维颅面生长模型。Ramanathan等人[27]在“修正”的心源性变换模型基础上，参考Farkas等人[26]收集的关键点信息，提出了基于人体测量学的颅面生长模型。基于几何物理的人脸老化模型通常只考虑人脸外形轮廓而不涉及纹理（如皱纹、老年斑等）变化、对种族及性别敏感，方法重建后的老化人脸真实感较差。受限于领域专家的技术能力和水平，模型计算复杂。因此，此类方法受众面小，主要应用于非真实感的衰老渲染，如素描人脸图像的老化合成在刑侦等专业领域。图1-2基于几何物理的人脸老化合成方法模型。图a)心源性转换模?
北京交通大学博士学位论文4观信息，通常计算人脸图像的像素值，而不是几何物理模型中的几何原语。基于图像原型的人脸老化方法的核心通常包括预处理（计算原型脸）、核心算法（计算源年龄与目标年龄的原型脸差异）、后处理（叠加至输入人脸）等步骤，得到老化人脸。因此，原型脸的计算方式是此类方法的重点。图1-3中展示了此类方法的基本思想。Burt等人[30]首次提出了以图像的像素平均值为该年龄段原型脸。Du等人[31]在此工作基础上，使用像素值的加权平均替代加和平均，使原型脸的计算方式更灵活。Kemelmacher等人[32]则在Burt等人工作基础上，使用光流域转换方法计算原型脸替代平均像素值，该方法不仅可适用于输入脸的形状，同时也考虑了光照条件对纹理的影响，其效果优于文献[30]的衰老合成效果。基于图像原型的方法是基于人脸的RGB颜色图像构造的，较基于几何物理的方法中轮廓信息，RGB图像包含多种衰老的线索，如皮肤色素沉着、皱纹生长、头发颜色变白等，因此此类方法更能反映面部衰老的真实情况。同时，方法将处理过程自动化，减少了研究者对专业领域知识的依赖，易于实现，较之前基于几何物理的方法拓展了人脸老化合成的应用场景。然而，方法中平均脸的计算方式通常会丢失人脸图像中个性化特征，使合成的老化人脸在感官上较相似。图1-3基于图像原型的人脸老化方法基本思想[33]Figure1-3Thebasicideaoftheprototypebasedfaceaging[33](3)基于传统机器学习的人脸老化合成机器学习的出现和发展奠定了大规模数据驱动的人脸老化合成技术的理论基矗此类方法通常将人脸图像的像素值映射到高维空间，人为地构造和提取衰老特征，利用机器学习模型对高维特征建模。典型的方法包括基于图模型（GraphModel）的人脸老化合成方法[34-
【参考文献】：
期刊论文
[1]基于多尺度和多方向特征的人脸超分辨率算法[J]. 黄丽,庄越挺,苏从勇,吴飞. 计算机辅助设计与图形学学报. 2004(07)
博士论文
[1]基于深度学习的协同显著性检测方法研究[D]. 王冲.中国科学技术大学 2019
[2]基于一致性近邻关系的极低质量人脸超分辨率算法研究[D]. 陈亮.武汉大学 2017
[3]基于稀疏表示模型的人脸超分辨率研究[D]. 黄克斌.武汉大学 2017
[4]基于感知内容的人脸图像认证技术研究[D]. 韩琦.哈尔滨工业大学 2009
本文编号：3359870
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：118 页
【学位级别】：博士
【部分图文】：
方法[2]合成的老化人脸Figure1-1Theagingsimulationresultsin[2]
绪论3型模型的方法、传统机器学习模型的方法及深度学习模型的方法。具体归纳为：(1)基于几何物理的人脸老化合成受D’arcyThompson所提出形态学的影响[21]，在早期的研究中[15,16,22-24]，研究者们使用几何物理类方法对面部衰老建模。这类方法将面部肌肉或皮肤分解为二维或三维的几何单元，使用心源性转换模型[15]、三维形状模型[25]、人体测量学模型[26]、颅面生长模型[27]等来表示人脸图像。图1-2给出了典型的人脸老化几何物理模型。基于几何物理的人脸老化模型将人脸衰老转化为物理模型参数中线性和非线性约束，通过单元顶点位移和插值对人脸图像进行拉伸、描绘等操作，生成合成的老化图像。因此，几何物理模型建模以及合成变换操作是该类老化合成方法的关键。Pittenger等人[16]将面部建模为心源性变换模型，其将人脸老化定义为颅面复合体上的粘弹性事件。通过对面部轮廓拉伸、剪切和心源性变换等操作，合成目标年龄的老化人脸。之后，Todd等人[15]在其工作基础上，通过对作用于头部的流体静力学分析，提出了“修正”的心源性变换模型。进一步，Mark等人[17,28,29]将这个模型推广到三维中，得到了三维颅面生长模型。Ramanathan等人[27]在“修正”的心源性变换模型基础上，参考Farkas等人[26]收集的关键点信息，提出了基于人体测量学的颅面生长模型。基于几何物理的人脸老化模型通常只考虑人脸外形轮廓而不涉及纹理（如皱纹、老年斑等）变化、对种族及性别敏感，方法重建后的老化人脸真实感较差。受限于领域专家的技术能力和水平，模型计算复杂。因此，此类方法受众面小，主要应用于非真实感的衰老渲染，如素描人脸图像的老化合成在刑侦等专业领域。图1-2基于几何物理的人脸老化合成方法模型。图a)心源性转换模?
北京交通大学博士学位论文4观信息，通常计算人脸图像的像素值，而不是几何物理模型中的几何原语。基于图像原型的人脸老化方法的核心通常包括预处理（计算原型脸）、核心算法（计算源年龄与目标年龄的原型脸差异）、后处理（叠加至输入人脸）等步骤，得到老化人脸。因此，原型脸的计算方式是此类方法的重点。图1-3中展示了此类方法的基本思想。Burt等人[30]首次提出了以图像的像素平均值为该年龄段原型脸。Du等人[31]在此工作基础上，使用像素值的加权平均替代加和平均，使原型脸的计算方式更灵活。Kemelmacher等人[32]则在Burt等人工作基础上，使用光流域转换方法计算原型脸替代平均像素值，该方法不仅可适用于输入脸的形状，同时也考虑了光照条件对纹理的影响，其效果优于文献[30]的衰老合成效果。基于图像原型的方法是基于人脸的RGB颜色图像构造的，较基于几何物理的方法中轮廓信息，RGB图像包含多种衰老的线索，如皮肤色素沉着、皱纹生长、头发颜色变白等，因此此类方法更能反映面部衰老的真实情况。同时，方法将处理过程自动化，减少了研究者对专业领域知识的依赖，易于实现，较之前基于几何物理的方法拓展了人脸老化合成的应用场景。然而，方法中平均脸的计算方式通常会丢失人脸图像中个性化特征，使合成的老化人脸在感官上较相似。图1-3基于图像原型的人脸老化方法基本思想[33]Figure1-3Thebasicideaoftheprototypebasedfaceaging[33](3)基于传统机器学习的人脸老化合成机器学习的出现和发展奠定了大规模数据驱动的人脸老化合成技术的理论基矗此类方法通常将人脸图像的像素值映射到高维空间，人为地构造和提取衰老特征，利用机器学习模型对高维特征建模。典型的方法包括基于图模型（GraphModel）的人脸老化合成方法[34-
【参考文献】：
期刊论文
[1]基于多尺度和多方向特征的人脸超分辨率算法[J]. 黄丽,庄越挺,苏从勇,吴飞. 计算机辅助设计与图形学学报. 2004(07)
博士论文
[1]基于深度学习的协同显著性检测方法研究[D]. 王冲.中国科学技术大学 2019
[2]基于一致性近邻关系的极低质量人脸超分辨率算法研究[D]. 陈亮.武汉大学 2017
[3]基于稀疏表示模型的人脸超分辨率研究[D]. 黄克斌.武汉大学 2017
[4]基于感知内容的人脸图像认证技术研究[D]. 韩琦.哈尔滨工业大学 2009
本文编号：3359870
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3359870.html
