智能配镜三维特征参数提取方法研究

发布时间：2021-10-01 00:39

　　针对智能配镜中三维面部特征点提取算法复杂度较高的问题,提出一种将三维点云转换为映射图像定位特征点的方法。采用Voronoi方法计算面部三角网格各顶点处的高斯曲率、平均曲率。选取鼻尖、眼角等曲率特征明显的区域估计面部点云姿态。根据曲率旋转不变性,使用初选的点云方向向量简化旋转矩阵的计算,使面部点云正面朝向视点。将点云映射转换为图像,三维网格模型中三角面片一对一映射到图像中的三角形。搭建卷积神经网络,使用Texas 3DFRD数据集进行模型训练。进行人脸对齐,预测所得各面部特征点分别限制在图像某三角形中。根据图像中三角形映射查找三维网格模型中对应三角面片,通过三角面片顶点坐标计算配镜所需的面部特征点位置坐标,实现配镜特征参数的提取。 

【文章来源】：图学学报. 2019,40(04)北大核心CSCD

【文章页数】：6 页

【部分图文】：

面部三维网格各区域曲率(c)

β和γ。因此，x，y，z轴的旋转矩阵Rx，Ry，Rz可表示为,1000cossin0sincosxR(16),cos0sin010sin0cosyR(17),cossin0sincos0001zR(18)则总的旋转矩阵为z,y,x,RRRR(19)进行坐标旋转之后，原点云C转换为点云CT，即TC=RC(20)各朝向点云与模板点云如图3所示。(a)偏左侧(b)偏上方(c)偏右侧(d)偏左侧(e)正向(f)模板图3三角网格模型不同姿态与模板点云对比3特征点定位将面部点云姿态矫正为正视前方的角度后，为获得面部配镜所需的各参数，需要对面部的关键点进行标定，即进行人脸对齐(facealignment)。目前在二维的图像领域，通过神经网络进行深度学习等方法预测图像中面部的特征点已经非常的快捷和准确，所以本文采取将点云映射至正视的深度图后再进行关键点位置的获龋深度图(depthmap)包含了场景对象的表面到视点的距离信息，通常至少为8位，即最少有256个灰度，每个像素都记录了从视点(viewpoint)到遮挡物表面的距离，8位深度图可以满足特征点识别的精度。利用Texas3DFR数据库[16]作为数据集，标定面部配镜相关特征点，包括眼眶、眉毛、鼻梁、脸颊等位置。通过多任务卷积神经网络(multi-taskcascadedconvolutionalnetwork,MTCNN)寻找人脸边界并提取出面部图像，将面部纹理图像与深度图像归一化像素为150×150的图像。本文纹理-深度(RGB-Depth,RGB-D)神经网络结构为(图4)：输入层为2个3通道3×150×150；紧接着2个卷积结构单元，每个单元都在卷积计算之后采用ReLU层作?

5深度图像面部特征点定位效果对于三维网格模型，其表面由若干三角面片拼接而成。若将三维网格模型映射至平面，则其表面的空间三角形也将对应地映射为平面三角形，如图6(a)所示。本文将以三角面片为单位，进行纹理信息的映射，效果如图6(c)所示。在投影的过程中，实际世界坐标系x与y坐标按照系数映射为图像像素坐标系中的位置。由此，投影生成的图像类似于一个映射表，通过图像中的像素坐标，可知该坐标位置所在的三角面片以及纹理和位置信息。(a)三角网格映射(b)深度映射(c)纹理信息映射图6三角网格模型深度信息映射与纹理信息映射将映射成的纹理图像与深度图像输入神经网络，可以得到预测的特征点集，并且各特征点均散布在某个三角面片的映射三角形之内，如图7所示。由于面部三角网格模型在预处理时将点云进行降采样，其顶点个数的数量级在104~105，并且根据Delaunay三角剖分原理，三角面片的数量约为顶点数量的2~3倍。因此，使用三角面片顶点数据估计其包含的特征点位置满足配镜精度要求。图7面部特征点定位在三角网格之内本文通过预测的特征点在世界坐标系中的几何坐标，求得配镜相关参数；并对14名被试者的面部参数使用游标卡尺进行手工测量，测量相对误差结果见表2。由表2可知本文提出的自动测量方法的大多数参数测量误差均在可接受范围内。表2平均测量值误差分析面部参数自动测量(mm)手工测量(mm)绝对误差(mm)相对误差(%)瞳孔间距66.4567.140.691.03面部宽度153.40158.435.033.17外眼角间距109.67112.412.742.44内眼角间距43.0541.221.834.44眉眼间距18.8617.181.689


本文编号：3416932