基于特征的三维人脸表情识别研究

发布时间：2021-06-09 11:44

　　人脸表情识别技术是计算机视觉领域中一项重要的技术,具有广泛的应用前景。三维人脸表情识别技术突破了二维人脸表情识别技术的瓶颈,对光照、姿态等外部干扰具有较高的鲁棒性,成为国内外的研究热点。与基于概率模型的三维人脸表情识别算法不同,基于特征的三维人脸表情识别算法提取人脸的纹理、拓扑结构等特征,能够实现更高效的表情识别。本文在对三维人脸表情深入分析的基础上,针对基于特征的三维人脸表情识别进行研究。本文主要的研究工作与创新点如下:1)提出了一种基于加权局部旋度模式（Local Curl Patterns,LCPs）的三维人脸表情识别算法。为了获得详细的表情描述,该算法引入旋度用于描述三维人脸的形状变化;接着为了提升旋度的局部曲面描述能力,采用LBP编码规则对旋度进行编码,得到LCPs特征;考虑到人脸不同区域受表情影响程度不同,采用ICNP算法对三维人脸进行划分,并计算各区域的最小投影偏差值以确定LCPs特征的表情权重;最后采用加权LCPs特征完成表情识别。实验表明,该算法能够提取具有高区分度的人脸表情特征,获得了较好的识别效果。2)提出了一种基于SSF-IL-CNN模型的三维人脸表情识别算法。... 

【文章来源】：东南大学江苏省 211工程院校 985工程院校 教育部直属院校

【文章页数】：84 页

【学位级别】：硕士

【部分图文】：

三维人脸识别算法的流程图

第二章基于加权局部旋度模式的三维人脸表情识别17图2-1基于加权局部旋度模式的三维人脸表情识别算法流程2.2基于加权局部旋度模式的三维人脸表情识别算法2.2.1三维人脸预处理为了保证后续识别算法的精度，针对三维人脸的预处理操作必不可少。预处理一般包括孔洞填补、曲面平滑、鼻尖点定位、人脸切割和姿态矫正等步骤。本章基于BU-3DFE数据库进行实验评估，BU-3DFE库中的三维人脸已经经过孔洞填补和曲面平滑，点云的质量较高。因此，我们只需要完成鼻尖点定位、人脸切割和姿态矫正等预处理。本章采用本实验室开发的人脸预处理算法[76]，处理过程概述如下：1）鼻尖点定位及人脸切割首先根据形状指数（Shapeindex）确定鼻尖点的候选区域。形状指数具备描述局部形状能力，我们认为形状指数为0.85-1之间的点属于鼻尖点的候选点。接着将候选区域与鼻子模板进行匹配，获得最终的鼻尖点。最后，以鼻尖点为中心、90mm为半径切割三维人脸，如下图所示：

东南大学硕士学位论文18(a)(b)图2-2三维原始人脸与切割后人脸。(a)原始人脸；(b)切割后人脸2）姿态矫正采用主成分分析[77]（PrincipalComponentAnalysis,PCA）算法实现姿态矫正。对已分割的人脸进行主成分分析，得到最大、最小特征值对应的特征向量。鼻尖点、最大和最小特征值对应的特征向量分别作为三维坐标原点、y轴和z轴，建立右手坐标系。在该坐标系中，每张人脸都带有正面姿态，且每个三维人脸点都由唯一的x、y和z坐标表示。2.2.2局部旋度模式的提取（一）旋度的提取旋度是三维向量场的强度属性，表示三维向量场对某一点附近的微元造成的旋转强度。旋度包含方向向量和长度标量，其方向表示向量场在这一点附近旋转度最大的环量的旋转轴，其长度表示该点位置的旋转强度，即漩涡的深度，旋转程度越高即漩涡深度越高。通过获取三维人脸的三维向量场，可以将旋度引入对三维人脸的分析中。对于三维人脸上的某一点，该点旋度的方向向量是指以该点及其邻域点构成的局部平面的法向量，该向量决定了点所在局部曲面的空间位置；该点旋度的长度标量则是一个数值，数值的大小反映了点所在局部曲面的旋转程度，即曲面的凹凸程度，该值越高即凹凸情况越剧烈。与形状指数和曲率相比，旋度具有方向，更适合于描述三维曲面的空间形状；而与法向量相比，旋度具备描述空间曲面形状的能力。如图2-2所示，分别位于三维曲面P、Q上的P1和Q1点，虽具有相同的法向量，但两个曲面在P1和Q1点的形状大不相同，P1和Q1点的旋度也不同（P1点的旋度长度小于Q1点的旋度长度）。显然，旋度与三维曲面形状的关系更加紧密，旋度对三维人脸的描述能力更好。

【参考文献】：
期刊论文
[1]基于关键点和局部特征的三维人脸识别[J]. 郭梦丽,达飞鹏,邓星,盖绍彦.  浙江大学学报(工学版). 2017(03)

博士论文
[1]三维人脸表情识别中特征提取算法研究[D]. 李小利.北京交通大学 2016

硕士论文
[1]纹理映射技术的研究[D]. 李增忠.西安电子科技大学 2005



本文编号：3220518