非约束条件下人脸表情识别问题的研究

发布时间：2020-06-20 03:09

【摘要】：人脸表情识别技术可以广泛应用于机器人、虚拟现实、数据挖掘等领域。是机器理解人类情感,进行更为有效的人机交互的前提条件;也是对大批次人脸图像进行语义挖掘,乃至实现人类心理问题自动分析的重要技术手段。然而,目前的表情识别技术一般容易受到表情识别环境的约束,只能在对人脸光照与姿态进行一定约束的条件下进行有效识别,难以满足应用需求。因此,研究在非约束条件下,即在不对光照与姿变进行约束的条件下,进行人脸表情识别具有一定的必要性和应用前景。总体而言,本文对非约束条件下表情识别技术的研究分别从两个方面入手:首先,研究对人脸图像进行光照与姿态进行标准化;其次,研究提高表情判别模型对人脸光照与姿态的鲁棒性。具体而言,进行了以下几个方面的研究工作:1、提出了一种基于高斯差分正则化方法的人脸光照标准化算法。为提高TV模型对于光照边缘与大尺度纹理边缘的区分能力,本文以L0高斯差分范数替代L2梯度范数,提出使用L0高斯差分范数的TV改进模型实现人脸图像的光照标准化。由于L0范数导致模型无法直接求解,引入代表图像纵横高斯差分响应的影子变量,迭代地优化影子变量的L0正则化子式与以影子变量作为高斯差分响应的图像平滑子式,从而实现了L0高斯差分范数TV模型的求解。该方法能够有效地去除人脸图像的大面积阴影与曝光局部,即使在黑白图像中亦能有效地还原出人脸图像的本色且保留人脸图像的表情细节。2、提出了基于点集细分的快速人脸特征点检测算法。本文在监督梯度下降法的思想框架下,使用点集细分的方法对人脸特征点检测模型进行了约简。该方法首先提取各特征点之间的协相关系数,然后使用谱聚类对人脸特征点进行划分,并依划分结果对分组的特征点标记进行PCA降维,极大地降低了人脸特征点检测的模型规模。并在算法的运行过程中使用GPU加速同时提高了特征提取与模型运算的运行效率。3、提出了基于三维点集映射与稀疏恢复的人脸姿态标准化算法。本文根据检测出的人脸特征点位置极小化3D模型顶点的投影误差,使用3DMMs模型与E-PnP算法反复估算3D顶点增量与摄像机投影系数,得到更加精确的投影系数与能够生成图像中人脸特征点的3D模型。从而使用最终确定的3D模型、投影系数与人脸图像生成形变较少的姿态标准化人脸图像。同时,使用稀疏恢复技术对所生成的标准姿态人脸图像进行校正,恢复出失真的局部人脸。4、提出了基于改进Capsule构型的表情识别模型。本文结合残差卷积技术与动态路由机制,形成一种富中层视觉特征的改进型Capsule胶囊构型。在模型的训练过程中,应用结合光照与姿态标准化技术的人脸表情图像稠密采样,成功地提高了识别模型的鲁棒性。实验结果表明:基于高斯差分正则化方法的人脸光照标准化算法能够实现像素级别的人脸图像光照标准化,较其它经典人脸图像光照预处理方法而言能够从整体上提高卷积神经网络的表情识别准确率;基于点集细分的快速人脸特征点检测算法在不明显降低检测精度的基础上帧率可达50fps,足以满足应用需求;基于三维点集映射与稀疏恢复的人脸姿态标准化算法能够生成轮廓曲线更为自然的人脸图像,明显提高轻微轻度下表情识别的准确率;松耦合的Capsule改进表情识别模型在小规模数据集的8分交叉验证实验效果接近于经典的深度识别模型Vgg与Resnet,并在跨数据集的表情识别实验中对于包含光照变化与姿态变化的人脸图像能够表现出更加优秀的识别准确率。这表明该模型泛化能力较强,在真实的表情识别系统中更具有应用价值。
【学位授予单位】：华南理工大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP391.41;TP183
【图文】：

示意图,示意图,数据集,特征点

图 1.1 LFPW 标记示意图库一般由面部图像处理的领域专家工或半自动地标记出特征点。不同集由于标注工作量十分巨大，因学提供的数据集 Helen[30]，采用成的数据集包含 2330 张标注好的现任美国云端服务供应商 dropb为 LFW 数据集的特征点标记版本记了 49 个特征点。修订版采用 M行为理解研究组提供的数据集 300的数据集过小、特征点标注不够题。数据集提出一种半自动的特问题。因此具数据量大、标注准

特征点,标准格式

图 1.2 300W 中 68 个特征点与 51 个特征点的两种标准格式1.2.1.5 3D 人脸数据集3D 人脸数据集需要专业的硬件对人脸 3D 表面进行扫描，因此成本高昂，数量较少。主要有：中科院生物识别与安全技术研究中心提供的 3D 人脸数据库 CASIA-3D注 4。该数据库对 123 个人的面部进行了 4624 次 3D 扫描。每个个体提供 37 或 38 次不同姿态、表情、光照、穿戴条件下的 3D 扫描，生成一个 2 维人脸图像和一个 3D 人脸表面。美国纽约大学提供的数据集 UOY-3D注 5，该数据集捕捉 350 个人不同姿态、扫描仪远近、表情、眼神的约 5000 个 3D 模型，主要用于 3D 模型人脸识别的 FERET 标准测试。美国纽约州立大学宾汉姆顿分校为完善表情识别专门建立 3D 人脸表情数据库BU-3DFE[33]&BU-4DFE[34]。3D 版含有 2500 个 100 位来自全世界的志愿者的面部表情 3D 模型。志愿者的年龄跨度从 18 岁到 70 岁不等，种族分布包含白人、黑人、中东人、东亚人、印度人与拉丁裔。4D 版按时间维度每位志愿者添加 6 种基本表情 3 的

【参考文献】