基于RGB-D图像的人脸姿态检测及三维重建

发布时间：2020-06-22 20:15

【摘要】：经颅磁刺激技术是一种利用脉冲磁场作用颅内中枢神经系统以达到治疗癫痫、儿童脑瘫等神经心理疾病的理疗手段。在经颅磁刺激治疗过程中,准确快速地检测颅内各穴位及神经区域的位姿至关重要。基于此目的,本文提出了一种联合彩色图像与深度图像的人脸姿态检测和三维重建方法。通过检测当前人脸的位姿,结合三维人脸坐标系与医学中颅骨坐标系的转换关系,指挥装有磁刺激线圈的机械手臂跟随用户头部的运动自动定位,以起到节省医疗资源和提高用户治疗体验的作用。本文的研究内容主要包括RGB-D图像预处理、人脸区域及特征点检测、三维人脸点云模型重建以及人脸姿态检测。首先,针对基于二维彩色图像的人脸姿态检测对环境、姿态敏感的问题,本文使用深度摄像机获取人脸RGB-D图像并检测人脸三维特征点,定义三维人脸坐标系;然后,使用点云配准的方法为人脸姿态实时检测阶段准备一个数据完整且精度高的三维人脸点云模型,以提高姿态检测的准确率;在姿态检测阶段,本文提出了一种人脸姿态初检测方法,通过求解待检测人脸点云与零姿态三维人脸点云模型之间三维人脸坐标系的刚体变换关系得到人脸姿态参数。由于经颅磁治疗仪还面向癫痫症患者及儿童,因此本文在人脸姿态初检测算法的基础上使用ICP算法进行点云精配准以提高用户头部运动幅度大时的姿态检测精度,使用人脸姿态初检测方法作为点云粗配准算法,可以防止ICP点云配准陷入局部最优。单轴内人脸姿态检测的绝对误差在(7)0,2~o(8)区间内,即可满足经颅磁治疗仪的临床应用标准。本文模拟经颅磁治疗仪的诊疗环境,在光源充足且光线均匀的实验室内进行人脸姿态检测实验。实验数据表明,本文提出的人脸姿态初检测算法在人脸俯仰(-60~o,30~o)、左右偏转及左右旋转各(-60~o,60~o)范围内的总平均绝对误差为1.141~o,误差最大值1.932~o,接近经颅磁允许误差的上限;但在俯仰(-40~o,20~o)、左右偏转及旋转各(-30~o,30~o)范围内,绝对误差范围为(0.8~o,1.25~o),满足一般用户的人脸姿态检测的临床需求。实验表明,点云粗配准与精配准相结合的方法可将总平均绝对误差降低至0.663~o,且最大误差仅为1.010~o,在用户头部运动幅度大时也能满足人脸姿态检测的临床需求。
【学位授予单位】：沈阳工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;R318
【图文】：

示意图,经颅磁刺激,原理,人脸姿态

图 1.1 经颅磁刺激原理示意图 Schematic diagram of transcranial magnetic sti与现状起源于人脸识别技术，并且是人脸识别中，人脸特征点和人脸姿态检测的准确图像类应用中通过对人脸特定特征点位情制作、逼真的人脸动画制作以及实时，其三维重建技术起始于计算机动画制人脸识别领域和人机交互（HCI）系统术国内外研究现状觉领域中，人脸姿态检测的研究大多发表了一篇论述人脸姿态检测的综述性缺乏对基于深度图像或者三维图像头部

三维重建,图像输入,图像

而且真实感较低，适用范围有限，三维重建技术很难再有重大突破。双目视觉又称被动三维视觉，使用两个红外传感器从不同位置获取物体的两幅图像，利用视差原理计算两幅图像中相对应的映像点，恢复物体的三维信息，其难点在于在有两个摄像头的情况下如何甄别三维信息是否来自物体上同一点。与双目相机相比，单目视觉通过结构光或飞行时间法计算物体的深度信息，因此该种获取深度信息的方法又称为主动视觉。微软 Kinect 和英特尔 Realsense 系列深度相机这种面向普通消费者的深度摄像机是单目摄像头的代表，其价格优势吸引研究者在此基础上研究开发。由于基于深度摄像机的三维重建技术所使用的数据是 RGB 图像和深度图像，因此这类技术通常也被称为基于 RGB-D 数据的三维重建技术（这里的 D 指代 depth，即深度）。深度图像的成像方式不受光照的影响，可以弥补二维图像受光照干扰大的缺点；而且在基于二维图像检测的同时，引入深度信息，增加了信息的维度；此外，三维人脸点云的曲率和法向量反映了面部几何拓扑结构，表达了面部的结构信息。图 1.2 为基于RGB 图像和基于 RGB-D 图像的三维重建效果图。

【相似文献】