基于3D重建的人脸正面化研究
发布时间：2020-11-02 11:12
人脸识别技术被视为当前人工智能领域的关键技术,由于其享有不同于传统生物识别技术的优势,在安全防范领域中扮演着重要角色,并从单一场景使用迅速普及到各行各业中。当前人脸识别的应用场景多为用户配合下的图像采集,但实际更多的应用场景为被采集者非配合状态。人脸图像信息的采集常具有不确定性、随机性,摄像机捕获到的人脸信息会呈现出扭转、倾斜等干扰。在这样的状态下人脸图像直接放入人脸识别系统或相关应用中,无法顺利进行识别和比对,常常会出现识别速度和识别率下降的情况。为了解决这一问题,人脸正面化算法,具有一定的研究价值和广泛的应用前景。针对这个问题,本文提出了一种基于3D重建的人脸正面化算法,对输入的非正向人脸图像进行正面化。分别完成深度学习的方法训练网络模型完成人脸检测、人脸关键点检测等步骤,并使用图形学的方法进行仿射变换,基本实现了一般条件下的非正向人脸图像正面化。本文主要工作如下:1.总结了当前人脸识别和正面化研究现状和应用场景面临的挑战。从人脸正面化的流程步骤上进行了梳理,分别阐述了人脸检测、关键点检测、人脸正向化、人脸重建的主要研究成果和方法,并对主流的算法及网络模型进行了分析、对比。2.在详细分析当前主要的人脸正面化算法的基础上,本文提出了一种基于3D重建的人脸正面化方法。该算法首先对输入的人脸图像进行了预处理,使用深度学习方法训练网络模型,并且在不同阶段中采用了不同的网络模型,获得人脸关键点信息。同时,将网络模型与仿射变换相结合,运用获得的二维人脸关键点信息,计算二维人脸图像和实际人脸模型之间的旋转矩阵,生成与输入人脸图像对应的正向的,利于进一步识别的人脸模型。实验结果表明,通过该方法生成的人脸图像与真实人脸具有身份一致性,有助于提升人脸识别对侧面人脸的识别准确性。
【学位单位】：中国人民公安大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TP391.41
【部分图文】：
在计算机中,为了简便计算,采集的图像是以数字形式存储的。因此图像处理过程中不会直接使用图像图层进行计算,通常是通过提取人脸的标志性器官,例如眉毛、嘴巴、眼睛、鼻子等器官的位置,然后完成对人脸轮廓和上述器官的刻画。这一描述人脸器官信息的过程就是检测人脸关键点的过程。人脸关键点检测是指,在完成人脸检测得到人脸区域的前提下,根据输入的人脸图像,自动定位出脸部轮廓以及眉毛、眼、鼻、嘴角等面部关键特征的点（landmark）。人脸关键点检测效果示意图,如图1-1。人脸关键点检测的主要有主观形状模型ASM(Active Shape Model)[21]和主动外观模型AAM (Active Appearnce Model)[22]等传统方法,基于级联形状回归（Cascaded regression）[23]的方法,如3000fps[24]。以及基于深度学习的方法,如MTCNN[25]等。
（3）正面人脸的3D重建： 根据前面得到的人脸关键点坐标,根据PnP算法计算摄像机外参,对非正面人脸进行Delaunay三角剖分并映射到正面人脸,最终实现将输入的人脸图像转换为正向人脸的目标。随着人脸识别领域的发展,已经可以明确人脸姿态、面部表情、拍摄时光照条件、背景复杂程度等因素会影响人脸识别。具体难点在于：
（1）P-Net(Proposal Network),网络结构如图3-1所示,是一个全卷积神经网络,得到一般精确度的人脸候选框与它的边框回归向量（bounding box regression）,随后再由候选框依据边框回归向量来完成修正。此步骤是为了将实现图像多尺寸的输入,使用较少层数,尽可能多的、较快的生成人脸目标候选框,宁愿出现一定错误也不漏掉一个。P-Net网络将人脸特征输入卷积层后,根据人脸分类器判别确定此区域是否出现人脸,同时利用边框回归和人脸关键点的定位器来实现人脸区域的粗定义,最后将会输出多张有机会存在人脸的目标区域,并将以上区域送入R-Net网络完成下一步操作。（2）R-Net（Refine Network）,网络结构如图3-2所示。使用一个相对P-Net更为复杂的网络来对前面候选窗口进行再选择和高度过滤,从而实现人脸区域优化的效果。具体做法是：该网络将前期的全部预测目标候选框候都送入R-Net(Refine Network)网络,通过R-Net后可以筛除大部分效果较差的预测目标候选框,随后对筛选后的精细化目标候选框进行目标候选框回归向量（Bounding-Box Regression）矫正,并执行非极大值抑制（NMS）操作进一步优化预测结果。由于P-Net网络仅是粗略的、效果较差的目标人脸区域,因此在第二层的这个网络中,将二次细化候选框,过滤掉较差输入,同时网络分为三部分,分别完成三个任务：人脸目标分类、人脸目标候选边框回归矫正以及人脸关键点定位,最终获得修正后的相对可靠的正方形人脸目标候选框送入O-Net网络。
【参考文献】
本文编号：2866974
【学位单位】：中国人民公安大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TP391.41
【部分图文】：
在计算机中,为了简便计算,采集的图像是以数字形式存储的。因此图像处理过程中不会直接使用图像图层进行计算,通常是通过提取人脸的标志性器官,例如眉毛、嘴巴、眼睛、鼻子等器官的位置,然后完成对人脸轮廓和上述器官的刻画。这一描述人脸器官信息的过程就是检测人脸关键点的过程。人脸关键点检测是指,在完成人脸检测得到人脸区域的前提下,根据输入的人脸图像,自动定位出脸部轮廓以及眉毛、眼、鼻、嘴角等面部关键特征的点（landmark）。人脸关键点检测效果示意图,如图1-1。人脸关键点检测的主要有主观形状模型ASM(Active Shape Model)[21]和主动外观模型AAM (Active Appearnce Model)[22]等传统方法,基于级联形状回归（Cascaded regression）[23]的方法,如3000fps[24]。以及基于深度学习的方法,如MTCNN[25]等。
（3）正面人脸的3D重建： 根据前面得到的人脸关键点坐标,根据PnP算法计算摄像机外参,对非正面人脸进行Delaunay三角剖分并映射到正面人脸,最终实现将输入的人脸图像转换为正向人脸的目标。随着人脸识别领域的发展,已经可以明确人脸姿态、面部表情、拍摄时光照条件、背景复杂程度等因素会影响人脸识别。具体难点在于：
（1）P-Net(Proposal Network),网络结构如图3-1所示,是一个全卷积神经网络,得到一般精确度的人脸候选框与它的边框回归向量（bounding box regression）,随后再由候选框依据边框回归向量来完成修正。此步骤是为了将实现图像多尺寸的输入,使用较少层数,尽可能多的、较快的生成人脸目标候选框,宁愿出现一定错误也不漏掉一个。P-Net网络将人脸特征输入卷积层后,根据人脸分类器判别确定此区域是否出现人脸,同时利用边框回归和人脸关键点的定位器来实现人脸区域的粗定义,最后将会输出多张有机会存在人脸的目标区域,并将以上区域送入R-Net网络完成下一步操作。（2）R-Net（Refine Network）,网络结构如图3-2所示。使用一个相对P-Net更为复杂的网络来对前面候选窗口进行再选择和高度过滤,从而实现人脸区域优化的效果。具体做法是：该网络将前期的全部预测目标候选框候都送入R-Net(Refine Network)网络,通过R-Net后可以筛除大部分效果较差的预测目标候选框,随后对筛选后的精细化目标候选框进行目标候选框回归向量（Bounding-Box Regression）矫正,并执行非极大值抑制（NMS）操作进一步优化预测结果。由于P-Net网络仅是粗略的、效果较差的目标人脸区域,因此在第二层的这个网络中,将二次细化候选框,过滤掉较差输入,同时网络分为三部分,分别完成三个任务：人脸目标分类、人脸目标候选边框回归矫正以及人脸关键点定位,最终获得修正后的相对可靠的正方形人脸目标候选框送入O-Net网络。
【参考文献】
相关期刊论文 前4条
1 鄢琼;;引入PnP问题的多姿态人脸旋转角度计算方法研究[J];电脑知识与技术(学术交流);2007年13期
2 孙宁;冀贞海;邹采荣;赵力;;基于2维偏最小二乘法的图像局部特征提取及其在面部表情识别中的应用[J];中国图象图形学报;2007年05期
3 吴福朝,胡占义;PnP问题的线性求解算法[J];软件学报;2003年03期
4 夏建云,邸元;基于散点及边建立数字地面模型的研究及实现[J];贵州工业大学学报(自然科学版);1999年04期
相关硕士学位论文 前1条
1 李泽东;基于图像序列的目标跟踪及三维重建技术研究[D];沈阳理工大学;2011年
本文编号：2866974
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/2866974.html
