表演驱动的实时人脸表情动画合成技术研究

【摘要】 表演驱动的表情动画实时合成技术是一项根据演员的面部表情动作实时驱动虚拟化身的脸部模型做出相同表情的技术,在视频游戏、远程会议、虚拟现实、人机交互等方面都有广泛的应用,近年来一直是多媒体技术领域的一个研究热点。本文在研究表演驱动的表情动画合成关键算法的基础上,开发实现了一套表演驱动的实时人脸表情动画合成系统。本文的主要工作内容和创新性成果如下：1.提出了一套表演驱动的实时人脸表情动画合成系统方案,该方案首次将骨骼蒙皮模型用于表演驱动的人脸表情动画合成系统。骨骼蒙皮模型是一个仿生模型,与其他模型相比,具有真实感强、易于驱动的优点。该系统具有实时、易用(用户使用前不需要任何训练过程)和对用户无侵入的优点。2.表演者人脸的检测和跟踪。本文提出首先使用Viola-Jones算法进行人脸检测,然后采用Mean Shift算法进行人脸跟踪。针对Viola-Jones算法时间复杂性高和Mean Shift算法对背景色彩鲁棒性差的问题,本文进一步引入了基于深度图的预分割技术,改善了系统的时间效率和鲁棒性。3.人脸模型表情控制参数的生成。本文提出首先利用彩色图像,采用AAM算法对人脸二维特征点进行定位,然后利用已定位的二维特征点作为约束条件,结合深度图像生成三维人脸模型-Candide-3模型中的人脸表情参数。彩色图和深度图的综合使用,改善了所生成动画参数的准确性和稳定性。4.原型系统的开发。结合算法研究,本文开发实现了一套表演驱动的实时人脸表情动画合成系统,采用3ds Max软件绘制人脸骨骼蒙皮模型,使用微软Kinect采集表演者面部的RGB-D视频,软件处理后生成表情动画控制参数,通过MIDI通信协议传送给3ds Max,驱动人脸骨骼蒙皮模型,合成表情动画。实验表明,该系统可以将表演者的常规表情有效地克隆到虚拟人脸模型上,以30帧／秒的速度合成表情动画。
 
【关键词】 表演驱动； 表情动画； Candide-3模型； 骨骼蒙皮模型； 深度图；

第1章绪论

1.1课题背景与意义
中国动漫产业虽然起步较晚，但是已经表现出来了巨大的市场潜力。《“十二五”时期国家动漫产业发展规划》对我国动漫产业的发展情况进行了总结：20]1年，我国动漫产业持续发展，产业规模进一步扩大，动漫产业产值达621.72亿元，较2010年增长32.04%。2012年，《十七大以来中国动漫产业发展成果展》在中国国家博物馆开幕，据此次展览介绍，到“十二五”期末，中国动漫产业产值将达到1000亿元人民币，比“十一五”末至少翻一番。
作为动漫产业体系的一个关键课题，人脸表情动画研究一直是多煤体技术领域的一个热门研究领域。人脸表情动画的目的是利用动画中人脸的姿态和面部运动来形象生动地表迖某个角色的表情和情感。在动漫方面，《功夫熊猫》、《指环王》、《阿凡达》这些风靡全球的影片的成功都离不开人脸表情动画技术。《功夫熊猫》中阿宝吃东西时夸张的动作，《阿凡达》中，阿凡达细腻真实的表情都是表情动画最经典的体现和应用。另外，现在人脸表情动画技术在视频游戏、远程会议、虚拟现实、人机交互等方面都有广泛的应用。

1.2国内外发展现状
表演驱动人脸表情动画合成技术涉及计算机视觉、模式识别、机器智能和心理生理等多方面的研究课题，是一个交叉性很强的研究领域。它主要包括表演人脸表情捕捉和人脸动画合成两个关鍵步骤，下面就从这两个方面介绍一下表演驱动人脸动画的国内外研究现状。
.............

第2章表演驱动人脸动画合成方案

表演驱动人脸表情动画合成技术是一项动画控制技术，它的目的是根据演员的面部表情动作实时驱动虚拟化身的脸部模型做出相同表情，从而生成表情动画。表演驱动人脸表情动画合成系统主要包括人脸表情动作捕捉和人脸表情动画合成两个关键步骤，具体框图见下方：

2.1现有的表演现动人脸表情动画合成方案
在表演驱动的人脸表情动画合成系统中，使用什么人脸表情动画模型，就对应要提取什么动画控制参数，因此也就会有不同的系统方案。现有的表演驱动人脸表情动画合成系统方案主要包括：1.基于点对点控制的方案一个人脸模型从本质上来说就是一个稠密点集，基于点对点的控制方案就是跟踪到人脸的稀疏点集，利用插值方法映射到人脸模型上的稍密点集，文献就是用的基于点对点的控制方法。该方法的具体程序如图2.2所示。
该方案的主要优点就是思路直接，实现简单，但是它的连续性差，对人脸关键点的定位要求高，一般要在人脸上贴上标记，并且需要复杂的人脸关鍵点定位系统。文献使用的设备是DVMC-8820，该设备有8个红外摄像头组成，60HZ的捕捉速率，但是要求演员的头部旋转要小于5度，移动范围不超过头直径的1/20,如图2.3所示。

2.2改进的表演驱动人脸表情动画合成方案
实时性、无侵入性、易用性和自动化是表演驱动的人脸表情动画合成系统的重要指标，为了实现这些指标，本文在现有方案的基础上进行改进，提出了一个实时的、易用的、无侵入的：完全自动的表演驱动人脸表情动画系统，系统方案如图2.8所示。
该方案首次将骨路蒙皮模型应用到表演驱动人脸表情动画系统中，另外为了实时提取人脸动画控制参数，本方案在人脸检测，跟踪和动画参数提取阶段都引入了深度图。本章将详细介绍骨盤蒙皮模型，后面几章再详细介绍人脸检测和跟踪，骨路蒙皮模型参数提取和系统实现。
是最接近本质的建模方法，但是人脸复杂的肌肉群配置，骨器运动和肌肉运动关系的配置，肌肉运动和皮肤运动关系的配置都需要大量的工作，计算量非常大，而且有些肌肉的运动机制也不是完全清楚的，所以完全意义上的肌肉模型是不可能的。我们提出了一种利用骨愁蒙皮方法模拟肌肉模型的替代方法，同时考虑人脸某些关键器官（比如眼球运动）的特殊运动，采用特殊的建模方法。下面将详细介绍肌肉模型和骨路蒙皮模型，并说明利用骨能蒙皮模型替代肌肉模型的合理性。

第3章表演者的人脸检测与跟踪........ 26
3.1算法流程设计......... 26
第4章人脸表情动画参数生成 ........47
4.1 FACS 系统 ..........47
第5章原型系统实现... 66
5.1系统流程....... 66

第5章原型系统实现

5.1系统流程
本文利用前文的技术方案开发了一个表演驱动的实时人脸表情动画的平台，系统流程图如图5.1所示。

5.2动画参数生成
本文的彩色和深度图的采集设备是徵软的Kinect。Kinect以30侦/秒的速度同时采集彩色图和深度图，分辨率分别为640*480和320*240。.我们利用追踪到的二维关键点来指导确定ICP算法中三维模型点与深度点云之间的初始对应点对，但是有一个问题是我们能够追踪到的二维关键点并不总是与三维模型点对应，如图5.2和图5.3所示。
蓝色的点指的是嘴部外轮廓，眼睛轮廓和眉毛轮廓点。在Candide-3模型上也分别存在描述这些器官轮廓的点，但是和二维关鍵点并不是一一对应的。对于这组点的处理方法是（以嘴巴的外轮廊点为例）：首先将二维特征点连接成线，形成嘴巴的外轮廊线，如图5.4所示；然后将Candide-3模型上描述嘴巴外轮廊的点映射到彩色图上，找到外轮廊线上与该点离的最近的点，然后将此点映射到深度点云图上，映射到的点就是要找的对应点。
第三组点是红色点，也就是人脸的外轮廟点。这组的与蓝色点组非常相似，?所以映射方法也和蓝色组相同。唯一不同的一点是，这组点很容易映射到深度点云图的背景上，这样的话深度就会发生巨大变化，所以在计算模型点和深度点云点的距离的时候就忽略了深度值这一项。最后一组是白色点组，目前我们还没有用在本平台中。我们跟踪得到的Candi(ie-3网格图如图5.5所示。
.........

第6章总结与展望

表演驱动的实时人脸表情动画合成技术是一项根据演员的表情动作实时合成数字人脸相同表情的技术，广泛应用于人机交互，远程会议，游戏，动漫，电子商务和医疗等领域中，近年来一直是计算机科学领域的一个研究热点。本文在分析现有系统的基础上，提出了一个实时的表演驱动人脸表情动画系统，并开发了原型系统平台。该系统综合利用彩色图像和深度图像对表演者的人脸进行跟踪和检测，然后在此基础上利用AAM算法定位人脸2D关键点，并依此为约束，利用ICP算法生成Candide-3模型中的动画参数AU。AU和骨骼案皮模型中的骨骼一样具有直观的物理意义，我们利用MIDI通信协议，将AU传输给3ds Max,在3ds Max中利用人脸骨骼蒙皮模型渲染出和表演者相同表情的数字阿凡达。和现有系统相比，本系统具有实时,易用(用户使用前不需要训练过程),对用户无侵入性的优点。

...........

参考文献：

• [1] 司倩倩,樊养余.  一种用于人脸动画的拟合抽象肌肉模型[J]. 现代电子技术. 2011(10)
• [2] 解则晓,徐尚.  三维点云数据拼接中ICP及其改进算法综述[J]. 中国海洋大学学报(自然科学版). 2010(01)
• [3] 徐先良,沈萦华,费广正,石民勇.  计算机人脸建模和动画技术综述[J]. 北京广播学院学报(自然科学版). 2005(01)
• [4] 杨程云,沈介文.  基于抽象肌肉模型的人脸表情动画实现[J]. 计算机工程. 2002(08)