姿态和遮挡鲁棒的人脸关键点检测算法研究

发布时间：2022-02-18 17:10

　　随着人工智能时代的到来,以人脸图像为中心的计算机视觉得到了快速的发展。人脸关键点检测,又名人脸对齐,作为诸如人脸识别、表情识别等高级别视觉任务的基础技术,是多媒体领域研究的热点。由于人脸外观存在刚性与非刚性的复杂形变,传统人脸关键点检测算法常对挑战性场景较为敏感,比如人脸的大角度姿态变换,以及部分遮挡等。近年来,深度学习的发展给人脸关键点检测技术带来了曙光,因此本文的工作将以深度神经网络为主、以传统算法为辅,对人脸关键点检测问题作进一步的研究,本文的主要工作如下:（1）基于人脸区域规范化和可变形沙漏网络的二阶段人脸关键点检测。沙漏网络是用于人脸关键点检测的经典网络,但是其对大角度姿态变化较为敏感。为了提高沙漏网络对大角度姿态变化以及表情变化的鲁棒性,提出二阶段模型用于人脸关键点检测。首先,通过使用空间变换网络校正人脸,简化了传统上使用检测的关键点和人脸均值形状进行普氏分析,进而采用仿射变换来规范化人脸区域的方法。由此不同姿态变化的人脸图像都可以被变换成规范状态,实验证明有助于提升之后的人脸关键点检测的性能。其次,由可变形卷积网络得到启发,将可变形卷积与原始沙漏网络结合。可变形沙漏网络的... 

【文章来源】：安徽大学安徽省211工程院校

【文章页数】：70 页

【学位级别】：硕士

【部分图文】：

级联形状回归模型预测过程

第二章人脸关键点检测相关理论8第二章人脸关键点检测相关理论近年来人脸关键点检测算法主要由深度学习主导，用于人脸关键点检测相关的深度神经网络是卷积神经网络。本章首先对这些相关技术做简要介绍，并介绍相关的评估数据集。2.1卷积神经网络相关理论在深度学习中，卷积神经网络是最常用的深度网络之一，主要用于视觉任务，比如图像和视频识别、图像分类、医学图像处理以及图像跟踪定位等。当然，卷积神经网络也可处理自然语言处理等非视觉任务。卷积神经网络具有不同于其他网络的一种数学运算——卷积、池化运算。2.1.1卷积层通常根据卷积神经网络的设计规则，输入的RGB三通道的图像通常以四维张量的形式表示为n×c×h×w，n,c,h,w分别代表图像数量、图像深度、图像高度以及图像宽度。同样，整个网络中的特征图也是以这种形式表示。卷积层具有以下属性：1）有固定尺寸的卷积核；2）有输入以及输出特征图通道数量的定义；3）卷积核的深度必须等于输入特征图的通道数，输出特征图的通道数显然与卷积核的个数一一对应。卷积计算的示意图如下图所示：图2.1卷积计算过程Figure2.1Calculationprocessofconvolution上图为一个3×3卷积核对一个单通道的输入特征图进行处理，生成的新特征图输入到网络的下一层。可以看出，卷积核只能以其自身大小来进行学习，这种特性称之为卷

2.1.2池化层池化层是一种形式的降采样，它的出现是为了进一步降低参数量，提高网络的深度上限。简单的说，池化层是对前一层特征图的降维，即将输入的特征图划分为若干矩形区域，对每个子区域计算得到一个值。根据采样方式的不同池化操作有两类：1）最大池化；2）平均池化。最大池化使用上一层特征图的子区域中的最大值，平均池化使用上一层特征图的子区域中的平均值。这种方式降低了特征图的尺寸，进而使得网络的整体参数量得到降低，并且可以减弱参数量过大带来过拟合的副作用。如下图所示为一个2×2大小的池化操作。图2.2池化操作过程Figure2.2Processofpoolingoperation2.1.3全连接层在早期的神经网络设计中，全连接层是必不可少的存在。例如在完全连接网络中所有层均为全连接层，早期卷积神经网络的设计理念也是由全连接层作为网络的结尾。实际上，一系列的卷积层可以看作特征提取器，而最后的全连接层就是“分类器”。对于一个图像分类网络，类别共1000种，在一系列的卷积、池化、激活函数的变换之后得到了一个c×h×w（c,h,w分别表示特征图的深度、高度及宽度）的特征图，首个全连接层将其变换成m维的特征向量，其中m=c×h×w；紧接着下一个全连接层将此m维特征向量映射1000维向量，对应1000个类别。由于完全连接的特性，全连接层拥有巨大的参数量，因此最近主流卷积网络的设计趋势是将全连接层用全局平均池化（globalaveragepooling）来替代。例如对于以上的c×h×w特征图，可以使用h×w大小的池化核进行全局池化，可以得到c维特征向量。但是这种方法必须在小尺寸特征图上执行（即一般h与w不大于4），否则可能大量丢失特征信息。


本文编号：3631221