遮挡人脸的修复方法研究

发布时间：2021-03-30 04:15

　　人脸图像修复技术作为图像复原领域的一个分支,在实际生活中的很多场景有着重要的应用价值。如在安防视频监控系统中,若采集的人脸图像存在部分遮挡,人脸关键特征将会被极大破坏,对遮挡区域进行较为精确的修复是提高人脸识别技术的一大突破点。同时,人脸修复也是图像编辑中的重要操作,要求生成内容和谐、视觉逼真的图像信息填充缺失区域。目前,人脸因特有的几何结构导致其遮挡修复技术存在一定的挑战,易产生边界模糊、上下文感知不合理的内容,本文针对此问题展开研究,构建基于卷积神经网络的人脸修复模型。考虑到现有方法未在修复过程中充分发掘人脸几何结构的先验作用,本文提出两阶段人脸修复框架:阶段一,基于生成对抗网络,在修复前期提出人脸几何结构推理模型,通过对遮挡人脸的先验信息进行预估,获取表征各部位语义的解析图;阶段二,结合阶段一得到的解析图,提出三输入生成式人脸修复模型完成遮挡区域纹理细节的重构,即基于部分卷积网络,对遮挡图像（外观）、解析图、二值化掩码图分别建立编码器,提取不同层级的深度特征,解码时将外观特征与解析特征以残差的形式依次融于解码的各个阶段,发挥几何先验的辅助修复功能。为进一步提升模型的修复效果,本文... 

【文章来源】：西安理工大学陕西省

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

常见

常见的遮挡人脸

模，从而生成视觉逼真与整体内容和谐的信息。对遮挡区域进行有意义的修补，是图像编辑任务中十分重要的步骤，在图像渲染与计算摄影学[51,52,54]中有广泛的应用。目前，针对图像修复的方法主要集中在传统方法与基于深度学习的方法。基于扩散[2,6]的方法通过将邻域像素传播到缺失区域合成纹理信息，这种方法只能处理背景中较小的遮挡区域，很难生成有意义的纹理结构；不同于仅利用邻域像素的扩散法，基于块[1,3,8,57,58]的方法可利用到长程信息重构缺失区域，即从源图像的有效区域搜索并粘贴相似的图像块完成目标域的填充，如图1-3所示，给定图像区域A与B，在块间距离的度量下，为A中的每个缺失块在B中找到最近邻的替代块，这种方法可以在遮挡区域较大时生成相对真实的图像信息。为了搜寻更合适的图像块，双向相似度法[5]在计算块相似性时捕捉更多的视觉信息并引入较少的视觉伪影，但计算复杂度也随之增加。为了减少计算代价，块匹配法[1]中以图像领域的自然一致性为先验信息，提出了一种快速最近邻搜索法。然而，总体来讲，基于块的修复方法整体假设遮挡区域与未遮挡区域拥有相似的语义分布信息，因此，在纹理简单的任务中表现良好，但却无法在包含特有结构的图像中生成合理结果。图1-3基于块匹配的图像修复[1]Fig.1-3Imageinpaintingbasedonpatchmatching[1]


本文编号：3108842