基于单幅图像的三维人脸重建与应用

发布时间：2021-07-13 14:14

　　三维人脸重建是计算机视觉和图形学中的研究热点之一,在人脸识别、人脸动画、影视游戏等领域有着广泛的应用。与基于多幅图像或传感设备的三维人脸重建相比,基于单幅图像的三维人脸重建不依赖于人脸图像集合,也不会受限于硬件设备等因素。目前,基于单幅图像的三维人脸重建仍然存在的问题有:眼睛、鼻子、嘴巴等局部的重建效果不佳;人脸纹理的局部处理不够精细;人脸模型的肤色与给定的人体模型不能保持一致等。针对这些问题,本文提出了一种基于模型分割和纹理优化的三维人脸重建方法,主要工作内容如下:（1）采用张量分解方法构造整体人脸网格模型核张量,结合条件随机场分割方法和张量分解方法构造眼睛、鼻子、嘴巴的分块网格模型核张量。接着,利用级联方法检测人脸图像特征点,并通过特征点分割输入人脸图像和数据库人脸图像。同时,计算输入分块图像与分块数据库人脸图像的结构相似性指数,利用核张量匹配得到对应的眼睛、鼻子、嘴巴的分块网格模型。然后,基于权重将分块网格模型与整体人脸网格模型依次融合,并对人脸网格模型进行局部和整体的拉普拉斯平滑,最终得到精细的人脸网格模型。（2）结合谱聚类算法和层次区域树算法对人脸纹理图像进行分割和分块优化,... 

【文章来源】：浙江理工大学浙江省

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

图１．１算法主要流程??１．?３．?２论文的组织框架??

组合。该方法可以使用密集人脸网格模型的表面几何和颜色??数据来模拟人脸面部属性的变化，并通过建立人脸形变模型库来描述从单幅图像??构建三维人脸模型的过程。基于形变模型的三维人脸重建流程为：首先，初始??化一个三维人脸模型，即初始化形变模型中形状与纹理线性组合关系的参数，以??及人脸纹理的光照信息、旋转角度、相机位置等外部参数。通过提取输入的人脸??图像的特征信息，然后不断地迭代优化求解上述的参数，使其与人脸图像中的参??数保持一致，最终重建出与人脸图像对应的三维人脸模型，具体示意图如图２．１??所示。??３Ｄ?Ｄａｔａｂａｓｅ??Ｍｏｒｐｈａｂｌｅ??＾?＾?ｗ?＾?Ｍ?Ｆ?＇??２Ｄ?Ｉｎｐｕｔ?３Ｄ?Ｏｕｔｐｕｔ??图２．?１基于形变模型的三维人脸重建流程图??８??

偏移量。??基于明暗变化的三维人脸重建算法的核心原理是摄像机逆成像原理，其关键??之处是根据输入人脸图像的光照信息构建光照反射模型，接着利用预设的假设条??件与约束因素，来恢复二维人脸图像每个部位的深度信息［３（）］。总的来说，该方??法的三维重建效果良好，但是该方法在结构复杂的人脸五官部位估计出的深度信??息不准确。同时，Ｌａｍｂｅｒｔａｉｎ反射模型所预设的条件太过于理想化，现实的条件??往往无法满足。所以基于明暗变化的三维人脸重建是一个具有相当挑战性的难题。??ｉ；／ＨＢ??图２．?２基于明暗变化的三维人脸重建效果图??目前，基于单幅图像的三维人脸重建存在的问题有局部几何细节不够优化，??９??

【参考文献】：
期刊论文
[1]结合特征适配与拉普拉斯形变的3维人脸重建[J]. 张剑,何骅,詹小四,肖俊.  中国图象图形学报. 2014(09)
[2]BJUT-3D三维人脸数据库及其处理技术[J]. 尹宝才,孙艳丰,王成章,盖赟.  计算机研究与发展. 2009(06)
[3]基于特征点的三维人脸形变模型[J]. 龚勋,王国胤.  软件学报. 2009(03)

博士论文
[1]基于单目视频相机的实时人脸跟踪与动画方法研究[D]. 曹晨.浙江大学 2016

硕士论文
[1]基于深度学习的三维人脸重建技术研究[D]. 伊进延.电子科技大学 2019
[2]基于卷积神经网络的单视图三维人脸重建技术研究[D]. 陈珂.武汉理工大学 2018
[3]基于单张照片的三维人脸重建算法研究[D]. 孔德智.山东大学 2017
[4]基于双目立体视觉的人脸三维模型重建研究[D]. 王刚.吉林大学 2014



本文编号：3282213