基于多张RGB图像的人脸重建系统

发布时间：2021-10-02 07:01

　　随着越来越多以用户为创作中心的产品爆红,用户原创内容成为互联网的流行趋势,这其中以建立用户化身为重点。用户化身的建立中人脸重建技术最为复杂,人脸重建结果也是用户化身最终效果的核心。现阶段智能手机已经普及,如何通过用户拍摄的多张自拍照重建出高质量人脸模型已经成为用户原创内容趋势下亟待解决的问题。本文旨在设计和实现一个基于多张RGB图像的人脸重建系统,能够根据用户上传的多张自拍照重建出高质量人脸模型。系统包括高光去除,人脸几何重建和人脸纹理重建三大模块。针对传统算法的高光去除过度和颜色失真问题,我们采用像素分类和补偿函数来提升基于联合双边滤波算法的效果,消除了黑斑现象。为了在整体和细节上都保持人脸几何和图像的相似,我们提出粗细双粒度的人脸几何重建,首先使用基于三维形变模型的方法恢复人脸整体形状,然后使用从明暗恢复形状的方法恢复面部细节,从而重建出高质量人脸几何模型。针对多张图像间的不对齐现象,我们采用基于块的纹理映射技术,解决了纹理模糊的问题。同时针对块匹配运算效率低下的问题,我们使用KDTree优化搜索空间,实现了至少5倍的加速效果。最后将这三部分和参数控制以及可视化等辅助模块有机结合起... 

【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校

【文章页数】：70 页

【学位级别】：硕士

【部分图文】：

图１．丨网络游戏《逆水寒》中的捏脸系统１??

??完整的人脸重建包括图像预处理，人脸几何重建和人脸纹理重建三部分。由??于光照等因素影响，图像中普遍会存在高光、阴阳脸等现象，如图１．２，而这些会??漏誦??图１．２人脸图像中的高光和阴阳脸现象??对接下来的人脸纹理重建产生不利影响，比如高光会使得重建出的人脸纹理贴图??中存在光斑，所以首先需要对图像进行预处理。人脸几何重建即恢复人脸的几何??形状，通常指生成人脸的网格模型，如图１．３（ａ）。人脸几何重建主要有两大类方??２??

缺点是容易出现瑕疵并且拓扑不固定，不利于二次处理。人脸纹理重建指??得到人脸几何对应的颜色信息，通常以生成人脸网格模型对应的纹理贴图为目的，??如图１．３（ｂ）。人脸纹理重建的方法主要是在得到人脸几何模型后，假设人脸只存??ｍ??（ａ）?（ｂ）??图１．３人脸网格模型和纹理贴图??在刚性变换情况下，估计出刚性变换参数，然后根据相机模型将人脸几何投影到??图像空间，从而得到人脸儿何上顶点对应的颜色信息。这种方法在处理多张图像??时，一般采取将每个顶点在不同图像上对应的颜色值进行加权平均的方法得到最??终颜色值，但由于人脸儿何、刚性变换参数以及相机模型参数不可能估计得绝对??精确，会导致阁像间产生不对齐Ｈ题，从而使得生成的纹理存在模糊等瑕疵。最??近，由于深度学ｄ的崛起，大量研究专注于借助大数据利用神经网络端对端地直??接生成人脸几何和纹理，这种方法优点在于能够在大数据帮助下即使是极端环境??中的图像

【参考文献】：
期刊论文
[1]双边滤波的改进高光去除[J]. 高如新,李雪颖.  中国图象图形学报. 2018 (01)



本文编号：3418190