3D面皮的五官分区配准与点对应积分不变量与多尺度约束算法研究

发布时间：2015-02-02 15:58

 

【摘要】 目前,计算机辅助的颅骨面貌复原技术在考古学、法医学、刑侦学和医学整形等领域得到了越来越广泛的应用。在计算机辅助的颅面复原技术中,基于统计理论的复原方法与其他方法相比,复原结果更加科学,已经成为颅面复原研究的热点。基于统计理论的复原方法需要对大量的训练样本进行统计训练,并将获得的先验知识用于指导面皮复原。训练样本之间要求具有准确的点对应关系,颅面复原的准确度很大程度上依赖于样本之间点对应关系的准确度。本文针对三维颅面模型之间的点对应问题,重点就面皮之间的点对应进行了深入系统的研究,主要的工作及进展如下：1.基于MMP算法计算测地线,实现了面皮模型的五官分区。首先根据人脸的特征点,定义了一套五官分割模板；然后利用MMP算法求得测地线；最后采用活跃点移动切割三角网算法按照测地线路径进行分割。该方法使分区更精确,边界更光滑。2.提出了基于ICP和TPS结合的面皮分区配准算法。面皮配准包括两个步骤：基于ICP的刚性配准和基于TPS的非刚性配准。ICP算法是一种比较通用的刚性配准算法,可实现两个点集的刚性配准。TPS是一种全局的,非刚性配准算法,可使配准后的数据光滑。配准后的两个模型能够近似重合,有利于点对应准确度的提高。3.引入了基于体积积分不变量的多尺度约束,提出了基于分区变形与多尺度约束结合的点对应算法PCDM。该算法利用顶点的局部相对位置几何约束确定对应点的候选集,采用多尺度几何特征确定分区内对应点；通过微分属性加权距离约束实现分区边界点对应。实验证明,该算法提高了点对应的准确度。4.针对本文提出的点对应算法,设计并实现了三维面皮点对应系统3DFCS,应用此系统可以实现三维面皮之间点对应关系的建立。 

第一章绪论

1.1研究背景
面皮复原，也称项骨复原技术，是以人类学中的项骨与容貌之间的形态关系为依据，通过计算机的三维重建技术，对项骨合理添加一定厚度的软组织进而实现面部容貌复原的技术。人类学研究已经表明：颜骨形状、软组织的厚度与面部的几何形态有着十分紧密的关系。面部五官的分布位置主要依赖于颜骨的结构，项骨的形态与面部的软组织厚度决定了面部的基本形态。项面复原技术具有广泛的应用，主要表现在如下方面：
1.古人类与历史人物的面貌复原
古人类与历史人物的面貌复原己经有多个成功的案例，使现代人可以欣赏到古代著名人物的风采。这些成功的案例包括：距今六千年前的人类先祖；3800年前的新疆“楼兰美女”；长沙市马王堆1号汉墓出土的2000多年前的长沙国丞相夫人辛追；比辛追早100年的汉朝美女凌惠平；唐代的公主李倕；清朝历史上惟一一位维吾尔族后妃香妃。图1展不了辛追18岁和30岁的复原面貌。

2.无名尸骨的身份认定[1][2]
在公安刑侦过程中，经常获得的是无名项骨，而与之相对应的软组织经常由于各种原因而损坏、腐烂或风化，这给案件的侦破带来了很大的难度。由于颇骨具有坚固、相对稳定、不易被篡改以及较强的抗腐烛性等特性，所以项骨会在事故灾难中很好的保留下来。通过顿面复原技术获得与生前相貌相似的容貌，可以为破案提供更多的线索，加速案件的侦破。
在计算机辅助的经典颜面复原算法中，基于统计理论的颜面复原技术[3][4]是一种非常有效的算法。基于统计模型的复原方法对获得的三维面皮样本进行统计训练，将获得的先验知识科学的用于指导面皮的复原，可以有效的避免单一参考样本对复原结果的影响，使复原出的面皮几何形态更合理，更加接近于真实的相貌。
............................

1.2研究意义
在21世纪，伴随着信息科学技术的高速发展，计算机通过对图像、触觉、声音等重要信息的捕获与综合分析，可以为用户主动的提供服务。面部[5]是人身体中一个非常重要的部位，它传递了大量丰富的信息。通过对面部的信息进行分析，计算机将会更好的服务于人类。
近年来，计算机辅助顿面复原已经发展成为计算机图形学领域的一个热点问题，受到了大量研究机构的关注。烦面复原技术具有广泛的应用，如历史人物的面貌复原、刑侦、医学整形、器官分割、遗骨认领等。与传统复原方法相比较，基于统计的领面复原方法更加科学，复原结果与真实面貌更加接近，近年来逐渐发展成为计算机辅助的颇面复原领域的研究热点。在基于统计的颇面复原技术的各个步骤中，三维点对应关系的准确建立起着承前启后的作用，它在很大程度上影响了高质量面皮样本训练集的建立以及卢页面复原结果的准确性。但是目前国内外对于面皮三维点对应关系的研究较少，所以在三维面皮之间建立具有生理位置一致性的点对应关系，有利于推动颂面复原的进一步发展。
三维点对应对于三维人脸识别[6]同样具有重要意义。在现代社会中，身份认证技术正起着越来越重要的作用。与人脸识别相比，基于指纹，虹膜的识别技术具有更高的可靠性，但是人脸识别具有友好，易被用户接受的优势而具有更加广阔的前景。三维人脸识别技术首先要求对获得的三维面皮模型进行去噪并提取特征，然后与库中己知身份的面皮模型进行匹配，最后对提取的特征进行分类判别，实现身份认证。三维面皮点对应关系的建立，可以加速模型的去噪，方便特征的提取，提高人脸识别的准确率。
三维面皮点对应这一难题的解决，对于推动面皮形态学规律研究具有重要的基础性意义，对三维面皮模型的特征点自动标定也具有重要的推动作用，以及对统计形状模型的建立也起到了重要的指导意义，另外对模型分割等问题的研究也起到了一定的促进作用。
三维面皮点对应的研究工作得到了陕西省科学技术研究发展计划项目（国际合作）的大力支持，项目名称：顿像重合相似性决策方法；项目编号：2013KW04-04。
...........................

第二章三维面皮点对应的流程和预备工作

基于统计模型的烦面复原技术，需要对所有三维面皮样本做统计训练，将获得的先验知识用于指导面貌复原，有效的避免了样本单一性对复原结果的影响。相比其它计算机辅助的面貌复原方法，复原结果更加客观。但是基于统计的复原方法要求三角网格表示的面皮数据必须是单层的，并且需要对面皮样本进行必要的预处理，预处理的结果对后续的实验结果有着直接的影响。本章首先介绍了 PCDM点对应算法的流程，然后在点对应的预备工作中，介绍了三维面皮模型的重建和法兰克福坐标归一化处理。

2.1三维面皮点对应的流程
针对基于统计模型的颉面复原中的点对应问题，本文提出了 PCDM点对应算法。第一步，对重建获得的面皮模型实现了法兰克福坐标系归一化处理；第二步，定义并标定面皮模型的特征点，设计了基于特征点的五官分割模板，并根据模板计算测地线实现面皮的分区；第三步，采用基于ICP和TPS结合的配准算法实现了各个分区的配准，使各个分区能够近似重合；第四步，计算各个分区模型中顶点的微分属性以及多尺度几何特征，根据提出的点对应算法实现面皮点对应关系的建立。算法的流程图如图2所示，本文在第二章中介绍面皮模型的三维重建和法兰克福坐标系归一化，第三章介绍测地线分区，第四章介绍面皮分区的配准，第五章介绍点对应算法的具体步骤。

..............................

2.2单层三维面皮模型的重建
2.2.1原始CT图像的获取
实验中釆用的三维面皮模型都是通过二维CT[i3]图像重建出来的。为了保证颂面复原实验的科学性，CT图像都是通过医院的螺旋CT机采集得到的。CT图像的成像原理是：人体不同组织对X射线的吸收性和透过率不同。人体组织密度越高吸收的X射线越多，在CT图像中显示的越亮，反之组织密度越小，在图像中显示的越暗。在CT数据采集过程中，CT机对人体头部每隔1.5min进行一次断层扫描。根据头部的大小，每个人的CT图像约200-300张。如图3所示为CT扫描得到的一组连续图像，它的像素大小是0.5 0.5mm，分辨率是512 512。

CT图像是数字化图像，它被保存成计算机可以识别的DICOM[i4]格式的文件。DICOM即医学数字成像和通信标准，它是由美国放射学会ACR和全美电子厂商联合会NEMA联合制定的，在制定的过程中参考了很多相关的国际标准。目前，在医疗信息标准中，DICOM是应用最广泛的标准之一，如应用于放射诊疗诊断设备，核磁共振，CT，超声等。现在国际上采用的是3.0版的标准，它规范了医学图像的采集、存档、传输、显示及查询等问题。
2.1.2 CT图像的三维重建
三维模型的重建[15]是计算机图形学中的一个重要研究课题，同时也广泛应用于医学三维重建和医学教育中，如解剖教学，虚拟手术等。从医院获取的原始CT数据只是一组二维连续断层图像的集合，无法通过计算机清晰地、立体地显示面皮样本，所以需要将原始二维CT数据转化为三维模型。
在基于统计的颜面复原研究中，要求将采集的活体样本CT断层图像进行三维表面重建，以获得单层三角网格表示的面皮样本。面皮样本要求采用单层三角网格表示，主要有以下两方面的原因：①单层三角网格表示的面皮模型只包含面皮表面的必要顶点及拓扑信息，信息冗余度低,存储空间小，绘制效率高；②便于领面复原研究。非单层模型内部包含的顶点对面皮数据的配准、点对应等后期处理造成很大的困难，因此需要将面皮模型内部顶点当作杂质去除掉。
将活体样本CT数据进行三维重建，得到单层三角网格表示的面皮模型,需经过以下两个步骤：
步骤一：CT断层图像的轮廓线提取。轮廓线的提取直接决定了重建出来的三维模型的精确度。目前，轮廓线提取的算法主要分为三类：①基于图像分割的方法，如阀值法。此法对阀值范围固定的对象分割效果较好，但对于阀值范围有交叉或范围很大的对象则难以准确分割。②基于边缘检测的方法，此类方法通过边缘检测算法实现了轮廓线提取。它可划分为基于搜索和基于零交叉两种类型，如基于数学形态学的边缘检测、多尺度边缘检测。③基于形变模型的方法，，其中最典型的方法是主动轮靡模型[i6](snake算法)。自1987年提出以来，它在图像分析领域得到了广泛的应用。主动轮廓模型对噪声不敏感，具有从复杂的背景中准确的提取出目标轮靡的能力，所以它很适合于处理CT图像以获得特定组织的轮廓线。
.............................

第三章三维面皮的分区.................................. 15
3.1分区方法研究现状.................................. 15
3.2特征点的定义及标定.................................. 16
3.2.1面部的生理结构及器官的分布特征.................................. 16
3.2.2面皮特征点的定义.................................. 17
3.2.3特征点的标定.................................. 19
3.3面皮分区的几何模板.................................. 20
3.4测地线计算.................................. 20
3.4.1 MMP算法流程概述.................................. 21
3.4.2基于点光源的窗口传播方法.................................. 23
3.4.3测地线路径回溯算法.................................. 24
3.5面皮分区的切割.................................. 24
3.6本章小结.................................. 25
第四章三维面皮分区的配准.................................. 27
4.1曲面配准的研究现状.................................. 27
4.2基于ICP的配准算法.................................. 28
4.3基于径向基函数的配准.................................. 29
4.3.1径向基函数神经网络.................................. 29
4.3.2基于TPS配准.................................. 30
4.4实验结果.................................. 31
4.5本章小结.................................. 33
第五章分区变形与多尺度约束结合的3D面皮点对应算法.................................. 35
5.1点对应算法研究现状.................................. 35
5.2顶点法向量和曲率的计算.................................. 36
5.2.1离散单位法向量.................................. 36
5.2.2离散曲率.................................. 38
5.3积分不变量.................................. 39
5.3.1积分不变量基本理论.................................. 39
5.3.2体积不变量与多尺度提取.................................. 40
5.4面皮分区点对应的思路与步骤.................................. 41
5.5实验对比与分析.................................. 43
5.6本章小结.................................. 45

第六章三维面皮点对应系统的设计与实现

针对文中提出的PCDM点对应方法，设计并实现了三维面皮点对应系统3DFCS，以检验算法的可行性。该系统主要分为三大部分：一、三维面皮点对应的预备工作；二、三维面皮的分区、配准；三、对比经典点对应算法和文中提出的算法，针对大量的待对应模型，釆用经典算法与本文方法分别与参考模型建立点对应关系。下面将详细的介绍3DFCS系统。

6.1系统流程及功能模块
6.1.1系统流程图

6.1.2系统功能模块图

图33展示了本文设计的点对应系统的各个功能模块，共分为三大模块：①点对应的预备工作模块；②模型的分区、配准模块；③建立点对应关系模块。输入单层三角网格表示的面皮模型，依次经过系统三个功能模块的处理，参考面皮和待对应面皮之间就建立了三维点对应关系，通过系统可以对点对应的效果进行展示。
6.1.3功能模块
1.点对应的预备工作模块
在点对应的预备工作模块，实现了读取并显示面皮模型，坐标系归一化。
(1)三维面皮模型文件的后缀名为obj，系统首先实现了读取并显示obj模型。
(2)根据第二章内容，交互标定面皮模型的左眼框下缘点、左右双耳孔中点以及眉心四点确定法兰克福坐标系，然后依据坐标系转换公式，将所有的模型数据都统一到法兰克福坐标系。
2.模型的分区、配准模块
(1)模型在系统上显示后，采用基于模板的半自动标定法对特征点进行半自动标定。
(2)根据面皮的生理结构特征，定义一套基于特征点的五官分割模板，采用基于精确测地线的方法对参考模型和待对应模型进行分区。
(3)对参考模型和待对应模型的各个分区采用基于ICP的算法进行刚体配准，实现两个分区模型点集间的粗配准。
............................

总结与展望

计算机辅助的颅骨面貌复原技术是指根据未知颅骨的信息，在计算机上复原并再现其容貌。目前中国处于国际领先水平。计算机辅助的颅面复原技术有着广泛的应用：在考古领域，通过复原古代人物面貌可以展示给现代人欣赏，如西汉长沙国丞相夫人辛追，清朝历史上惟一一位维吾尔族后妃香妃等；在刑侦领域，尸体经腐烂往往只剩下骨头，通过该技术复原出面貌为案件的侦破提供了更多的线索，提高了破案的效率。
基于统计的颅面复原技术是一种重要的计算机辅助的颅骨面貌复原技术。与其他复原技术相比，该方法的复原结果更加真实可信，更加科学。但是基于统计的颅面复原技术需要大量的面皮样本建立训练集，将统计训练获得的先验知识用以指导面貌复原。该复原方法要求样本之间必须建立点对应关系，体现在样本点数量相同且拓扑关系一致。所以三维面皮模型间点对应关系的准确建立对于基于统计的颅面复原技术有十分重大的意义。
完成的主要工作
本文针对三维面皮点对应这一关键问题进行了深入的研究，提出了 PCDM点对应算法，完成的主要工作如下：
(1)对重建获得的三维面皮模型实现了法兰克福坐标系归一化。由于在原始CT数据获取和模型重建过程中存在诸多干扰因素，单层三维网格面皮模型不可避免位于不同的坐标系下，表现为中心不一致，朝向不一致。这给特征点的准确标定以及点对应关系的建立带来了困难，影响了后续工作的顺利展开，所以需要将重建获得的模型数据统一到相同坐标系下。
(2)三维面皮模型的测地线分区。考虑到人脸部形态的多样性，复杂性和局部相关性，所以在对模型分区的基础上建立点对应关系。根据人脸的特征点，定义了一套基于五官特征点的分割模板，采用精确测地线求解算法MMP对给定面皮进行分区。
(3)三维面皮分区的配准。面皮经法兰克福坐标系归一化和测地线分区后，对面皮分区先使用ICP进行刚性配准，然后采用薄板样条函数TPS实现非刚体配准，使参考面皮的分区和待对应面皮的分区在形状上尽量重合，为后续点对应关系的建立奠定了基础。
(4)在深入系统的研究面皮点对应算法的基础上，提出了 PCDM点对应算法。在参考面皮分区和待对应面皮分区近似重合的情况下，利用互相对应的两点在分区中的位置具有稳定性建立对应点的候选集。采用①法向量和平均曲率的加权距离，②多尺度几何特征建立点对应，提高了点对应的准确率，为基于统计的颅面复原算法提供了大量的训练样本。
(5)针对本文提出的点对应算法，设计实现了三维面皮点对应系统3DFCS。该系统实现了后缀名为obj格式模型的读取，显示，特征点的半自动标定，模型的测地线分区，基于ICP的配准，基于TPS的配准，分区的体素化，以及顶点微分属性和多尺度积分特征的计算，最后建立了三维面皮的点对应关系，并对点对应效果进行了比较分析。
.............................
参考文献:

[1] LI JinJiang,FAN Hui.  Curvature-direction measures for 3D feature detection[J]. Science China(Information Sciences). 2013(09)
[2] 杜洪强,周明全,李康,贺毅岳,贺洁琼.  分区变形与多尺度约束结合的3D面皮点对应[J]. 计算机应用研究. 2013(07)
[3] 齐贤,黄敬瑜.  三角网格模型上测地线算法的研究[J]. 现代计算机(专业版). 2012(31)
[4] 仲玉维.  我国颅面复原五官技术获突破 将帮助破案[J]. 今日科苑. 2012(06)
[5] 董洪伟.  网格变形综述[J]. 中国图象图形学报. 2011(12)
[6] 白茹意,周明全,邓擎琼.  基于ICP和CPD的颅骨自动配准算法[J]. 计算机技术与发展. 2011(02)
[7] 王丽,孙剑峰,王骐.  Spin-image surface matching based target recognition in laser radar range imagery[J]. Chinese Physics B. 2010(10)
[8] 谭业浩,蒋志方,杜晓亮,孟祥旭.  紧支径向基函数插值实现多维数据可视化[J]. 计算机工程与应用. 2010(09)
[9] 杜国明,贾良文.  薄板样条函数在空间数据插值中的应用[J]. 计算机工程与应用. 2009(36)
[10] 张卡,张道俊,盛业华,王培芳,庞佑涛.  三维坐标转换的两种方法及其比较研究[J]. 数学的实践与认识. 2008(23)



本文编号：11791