三维可形变人脸重建与实时表情驱动系统

发布时间：2021-09-19 05:02

　　人脸表情驱动通过表演者的面部运动来控制虚拟模型,使之产生与前者相似的表情效果,在电影、游戏、虚拟主播、会话代理等领域具有广泛的应用。表情驱动过程涵盖了虚拟模型制作、表情识别和表情动画等方面。其中,写实的虚拟模型制作需要预先对真实人脸进行三维重建,再进行繁复的手工表情编辑工作。这使得在实时表情驱动系统中使用即时创建的写实人脸模型受到了较大限制,因而现有的系统通常使用预先准备好的、带有多种表情基的三维角色作为被驱动者。对表情驱动过程涉及的关键技术进行探究,设计并实现了一个集成可形变人脸模型重建、表情识别和表情动画于一体的自动化系统。该系统包含两条数据通道,一是以单张人脸RGB图像为输入,输出带有表情基的可形变人脸模型;二是以人脸视频为输入,捕获表情参数来控制重建的人脸模型,从而输出与输入人脸相似的表情动画。主要工作包括:对现有的基于深度学习的人脸重建网络模型进行改进,提升其重建速度,将形变传递和表情融合算法作用于重建结果,实现了基于单张输入图像的自动化可形变人脸重建;集成可形变人脸重建、表情识别和表情动画三个模块,实现了实时的人脸表情驱动效果。实验结果表明,改进的可形变人脸重建技术具有更优... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：57 页

【学位级别】：硕士

【部分图文】：

虚拟新闻主播

华 中 科 技 大 学 硕 士 学 位 论 文]。也有基于精确解剖学的方法，使用皮肤组织的体积有限thod，FEM）[24]来控制较为精确的面部运动。基于物理的方之上，能产生符合面部运动规律的皮肤运动，但在实践中却很hapes 是一组具有不同表情的面部三维模型的集合[25]，其中拓扑结构，相同顶点的不同三维位置产生不同的形状效果，右分别为：正常表情，张嘴，微笑。Lewis 等人[25]将 Blend脸模型，其中的个体基向量不是正交的，通过调整 BlendSh基向量相加的表情效果。但这种线性相加可能会导致几何形形状造成不正常表情，因此，一些在表情拟合过程中加入正ol 等人[26]提出了基于非负权重的顺序拟合方法，Bouaziz 等人-1 范数正则化来保证其稀疏性。Lewis 等人[25]对一些权重对应同一时刻最多只激活其中一个 BlendShape。

图 2.1 三维点云到二维图像的投影图 2.2 输入图像和其对应的 UV 位置图RNet 网络结构图回归网络为编码-解码结构，使用包含一个卷积层和包含 17 个转置卷积层的解码器，将输入的二维脸几何结构的 UV 位置映射图像来实现人脸重建。于更轻量级网络 MobileNet[52]中的深度可分离卷积


本文编号：3401069