基于解析图先验的深度学习人脸超分辨率技术研究
发布时间：2021-07-02 06:53
人脸超分辨率（人脸幻觉）,是一种从低分辨率人脸图像恢复具有高频细节的高分辨率人脸图像的技术。该技术具有重要的学术研究和实际应用价值。深度学习在计算机视觉领域大显神通,基于深度学习的人脸超分辨率方法也获得了优越的性能,但在网络结构的设计,以及对人脸图像独有的先验知识的利用等方面仍然存在一些缺陷。第一、现有利用先验知识的方法,通常先对低分辨率人脸图像进行超分辨率,得到其中间结果,然后获取中间结果的先验知识,再利用中间结果和先验知识做超分辨率,进而生成超分辨率结果。然而,获取的先验知识直接依赖于中间结果的质量,一旦中间重建结果的质量差,得到的先验知识也存在偏差。第二、在自然图像超分辨率中,通道注意力和空间注意力已经被证实有助于图像重构性能的提升,而人脸图像作为一种特殊的自然图像,注意力机制同样具有提升人脸超分辨率性能的能力,而现有的人脸超分辨率方法没有充分利用注意力机制。第三、现有人脸超分辨率网络通常是先上采样或后上采样的结构,因而在整个网络中特征图仅在高分辨率空间或低分辨率空间,特征图分辨率多样性低,影响网络性能。针对现有方法存在的问题,本文提出两种人脸超分辨率方法。1)提出一种解析图指导...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：61 页
【学位级别】：硕士
【部分图文】：
人脸超分辨率算法种类结构图
哈尔滨工业大学工程硕士学位论文-4-图1-2人脸先验信息1.2.2.1简单人脸图像超分辨率方法顾名思义，简单人脸图像超分辨率方法，并未考虑任何人脸图像的辅助信息，包括人脸属性，先验知识和身份约束等，仅将人脸图像数据集作为训练集，并依据人脸图像设计网络结构。2016年，Yu提出URDGN[20]搭建了一个生成对抗网络来对像素为16×16的人脸低分辨率图像进行超分辨率。接着2017年，Yu在URDGN上做了进一步改进，提出了对低分辨率噪声未对齐人脸图像进行超分的方法TDAE[21]，先经过超分网络将其对齐，再经过一个下采样网络降噪，最后再次超分获得高分辨率图像。Cao[22]将强化学习引入到人脸超分辨率中，网络的每次迭代都会利用强化学习为图像生产一个注意力模，让网络有区别地对待整张图像。2018年，Bulat[23]利用两个生成对抗网络，一个学习真实低分辨率人脸图像的退化过程，另一个学习真实低分辨率人脸图像的超分辨率过程。2019年，Huang[24]将人脸图像从像素空间投影到小波域，在小波域用深度学习超分辨率图像。Hu[25]将高分辨率人脸图像分解成基本脸和增强脸，训练基本脸网络模型和增强脸网络模型，然后利用两个模型生成低分辨率人脸图像对应的高分辨率人脸图像。之后文献[26]提出了迭代反投影算法与卷积神经网络结合的方法，在提升重构性能的同时减少训练时间。文献[27-29]均设计生成对抗的思想设计生成对抗人脸超分辨率网络，提升人脸图像超分辨率性能。文献[30]设计自动编码器学习高低分辨率人脸图像之间的映射关系。2020年，文献[31]利用不同域间转换的思想，提出了老照片修复技术，取得突破进展。1.2.2.2属性指导的人脸图像超分辨率方法这一类人脸超分辨率方法将人脸属性信息(包括性别、发色、等)加入到网络中，希望人脸属性的引入
人脸解析图
【参考文献】：
期刊论文
[1]联合多任务学习的人脸超分辨率重建[J]. 王欢,吴成东,迟剑宁,于晓升,胡倩. 中国图象图形学报. 2020(02)
[2]基于生成对抗网络的人脸超分辨率技术[J]. 张天露,杨杰,何文玉,贾利民. 传感器与微系统. 2020(02)
[3]道路监控视频低清人脸重建与识别方法研究[J]. 罗莉莎,钟嘉桐,王树同,陈龙,邵文泽. 计算机时代. 2020(01)
[4]基于边缘增强生成对抗网络的人脸超分辨率重建[J]. 卢涛,陈冲,许若波,张彦铎. 华中科技大学学报(自然科学版). 2020(01)
[5]双层级联神经网络的人脸超分辨率重建[J]. 刘嘉佩,曹林,杜康宁. 计算机工程与应用. 2020(13)
[6]基于层级聚类回归模型的人脸超分辨率重建算法[J]. 王淑云,干宗良,刘峰. 计算机科学. 2019(08)
[7]深度协作表达的人脸超分辨重建算法[J]. 卢涛,潘兰兰,管英杰,曾康利. 计算机辅助设计与图形学学报. 2019(04)
[8]基于L1/2正则化和局部纹理约束的人脸超分辨率图像重建[J]. 王宝成,李波. 计算机应用研究. 2020(02)
[9]基于非负矩阵分解的单帧人脸图像超分辨率重建方法[J]. 李翊凡,郭常忠. 宽厚板. 2020(02)
硕士论文
[1]基于深度学习的人脸图像超分辨率重建[D]. 史鹏涛.南昌大学 2019
[2]基于复合算法的人脸超分辨率研究[D]. 夏金凤.山东师范大学 2019
[3]基于聚类模型回归的人脸超分辨率重建[D]. 刘志恒.南京邮电大学 2018
本文编号：3259979
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：61 页
【学位级别】：硕士
【部分图文】：
人脸超分辨率算法种类结构图
哈尔滨工业大学工程硕士学位论文-4-图1-2人脸先验信息1.2.2.1简单人脸图像超分辨率方法顾名思义，简单人脸图像超分辨率方法，并未考虑任何人脸图像的辅助信息，包括人脸属性，先验知识和身份约束等，仅将人脸图像数据集作为训练集，并依据人脸图像设计网络结构。2016年，Yu提出URDGN[20]搭建了一个生成对抗网络来对像素为16×16的人脸低分辨率图像进行超分辨率。接着2017年，Yu在URDGN上做了进一步改进，提出了对低分辨率噪声未对齐人脸图像进行超分的方法TDAE[21]，先经过超分网络将其对齐，再经过一个下采样网络降噪，最后再次超分获得高分辨率图像。Cao[22]将强化学习引入到人脸超分辨率中，网络的每次迭代都会利用强化学习为图像生产一个注意力模，让网络有区别地对待整张图像。2018年，Bulat[23]利用两个生成对抗网络，一个学习真实低分辨率人脸图像的退化过程，另一个学习真实低分辨率人脸图像的超分辨率过程。2019年，Huang[24]将人脸图像从像素空间投影到小波域，在小波域用深度学习超分辨率图像。Hu[25]将高分辨率人脸图像分解成基本脸和增强脸，训练基本脸网络模型和增强脸网络模型，然后利用两个模型生成低分辨率人脸图像对应的高分辨率人脸图像。之后文献[26]提出了迭代反投影算法与卷积神经网络结合的方法，在提升重构性能的同时减少训练时间。文献[27-29]均设计生成对抗的思想设计生成对抗人脸超分辨率网络，提升人脸图像超分辨率性能。文献[30]设计自动编码器学习高低分辨率人脸图像之间的映射关系。2020年，文献[31]利用不同域间转换的思想，提出了老照片修复技术，取得突破进展。1.2.2.2属性指导的人脸图像超分辨率方法这一类人脸超分辨率方法将人脸属性信息(包括性别、发色、等)加入到网络中，希望人脸属性的引入
人脸解析图
【参考文献】：
期刊论文
[1]联合多任务学习的人脸超分辨率重建[J]. 王欢,吴成东,迟剑宁,于晓升,胡倩. 中国图象图形学报. 2020(02)
[2]基于生成对抗网络的人脸超分辨率技术[J]. 张天露,杨杰,何文玉,贾利民. 传感器与微系统. 2020(02)
[3]道路监控视频低清人脸重建与识别方法研究[J]. 罗莉莎,钟嘉桐,王树同,陈龙,邵文泽. 计算机时代. 2020(01)
[4]基于边缘增强生成对抗网络的人脸超分辨率重建[J]. 卢涛,陈冲,许若波,张彦铎. 华中科技大学学报(自然科学版). 2020(01)
[5]双层级联神经网络的人脸超分辨率重建[J]. 刘嘉佩,曹林,杜康宁. 计算机工程与应用. 2020(13)
[6]基于层级聚类回归模型的人脸超分辨率重建算法[J]. 王淑云,干宗良,刘峰. 计算机科学. 2019(08)
[7]深度协作表达的人脸超分辨重建算法[J]. 卢涛,潘兰兰,管英杰,曾康利. 计算机辅助设计与图形学学报. 2019(04)
[8]基于L1/2正则化和局部纹理约束的人脸超分辨率图像重建[J]. 王宝成,李波. 计算机应用研究. 2020(02)
[9]基于非负矩阵分解的单帧人脸图像超分辨率重建方法[J]. 李翊凡,郭常忠. 宽厚板. 2020(02)
硕士论文
[1]基于深度学习的人脸图像超分辨率重建[D]. 史鹏涛.南昌大学 2019
[2]基于复合算法的人脸超分辨率研究[D]. 夏金凤.山东师范大学 2019
[3]基于聚类模型回归的人脸超分辨率重建[D]. 刘志恒.南京邮电大学 2018
本文编号：3259979
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3259979.html
