基于多尺度神经网络的小区域图像修复
发布时间：2020-12-11 18:59
近十年来,计算机视觉在图像分类、目标检测、图像分割等图像处理任务上取得了巨大的进步,深度网络的性能在这些任务中有了很大的提升,为新的图像处理任务奠定了基础。尽管基于生成对抗网络（Generative Adversarial Network,GAN）的图像修复方法近年来在准确性和速度上取得了突破,但是由于内存硬件条件限制和GAN网络训练不平衡,对于高分辨率图像,修复的区域会显得模糊,存在清晰的边界线,难以修复高频细节。其次,研究发现,这些基于卷积神经网络的图像修复方法经常生成的边界伪影、变形结构和不清晰的纹理,除了是网络模型本身的影响,还可能是由于卷积神经网络无法将远距离的图像信息和图像补孔之间的长期相关性进行建模引起的。同时,图像修复在实际生活中的应用也十分广泛,例如删除图像中不必要的行人并获得背景恢复的真实感的问题。这个问题很有挑战性,因为缺少真实的输出样本去定义重构损失。为解决上述问题。本文基于生成对抗网络,进行如下图像修复的研究:1)基于多尺度神经网络的高分辨率图像修复:为了修复高频细节,该网络包含内容重构网络和纹理细节恢复网络。内容重构网络使用VGG-16对输入图像进行多尺度特...
【文章来源】：中国矿业大学江苏省 211工程院校 教育部直属院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
基于变分PDE算法的图像修复Figure1-1VariationalPDEalgorithmforimageinpainting在之后的研究中，许多研究学者改进了基本的基于变分PDE的图像修复算
1绪论5图1-2基本的纹理修复Figure1-2Thebasictextureinpainting常用的基于纹理图像修复方法是Criminisi算法，针对Criminisi算法中最匹配块搜索和填充的缺点，Gaolong等人[35]提出了一种结合稀疏表示的Criminisi算法，采用稀疏表示方法代替Criminisi算法中的最佳匹配patch搜索，优化了待绘制的标记区域，提高了可信度的优先级。为降低修复时间，Tijana等人[36]使用纹理描述符来指导和加速寻找良好匹配(候选)图像块，这种方法可以用来提高几乎任何(基于图像块的)修复方法的速度和性能。Wei等[37]将PDE与纹理修复相结合，提出了一种新的图像修复算法。对已知图像进行纹理分类，减少纹理搜索区域，降低修复时间。3）基于深度学习的图像修复：生成对抗网络的出现使得图像修复技术的研究迈向一个高峰，vanillaGANs[11]在生成清晰、不模糊图像方面表现出了良好的性能，但训练的不稳定性使其难以扩展到更高分辨率的图像。目前已经提出了几种稳定训练过程的技术，包括DCGAN[14]、基于能量的GAN[38]、WassersteinGAN(WGAN)[39,40]、WGAN-GP[41]、BEGAN[42]、LSGAN[43]。图像修复的一个更相关的任务是条件图像生成。例如，Pix2Pix[44]、Pix2PixHD[45]和CycleGAN[46]使用成对或非成对的数据在不同的域中转换图像。目前基于生成对抗网络的图像修复比较常用的损失函数是对抗损失和L2损失的结合，L2损失计算方差能够激励生成网络的输出，但输出结果无法捕捉高频细节，无法修复出清晰的纹理结构，因此引入对抗损失能够有效解决上述问题。如图1-3所示，将生成对抗网络应用于图像修复的基础模型是Deepak[6]等人结合encoder-decoder机制来实现人脸图像的修复，L2损失与对抗损失相结合可以达到更好的修复效果，最新的、有效的
AN本身难以训练的缺陷，这些方法只能处理低分辨率的输入。而对于现实修复需求更大的高分辨率图像，修复的区域会显得模糊，存在与周围区域不一致的边界，难以修复高频细节。其次，这些基于卷积神经网络的图像修复方法经常生成与已知图像区域不一致的边界伪影、变形结构和不清晰的纹理，除了是受到网络模型本身的影响，还可能是由于卷积神经网络无法将远距离的图像信息和图像补孔之间的长期相关性进行建模引起的。目前仍然没有一种方法可以修复图像中所有类型的失真，在未来，基于深度学习的图像修复还有很长一段路要走。图1-3基于生成对抗网络的图像修复Figure1-3Imageinpaintingmodelbasedongenerativeadversarialnetwork1.3本文主要工作（MajorWorksofThesis）本文针对现有图像修复技术可能会存在与周围区域不同的边界伪影、扭曲的结构和不清晰的纹理的问题提出：1）基于多尺度神经网络的高分辨率图像修复：该网络包含内容重构网络和纹理细节恢复网络。内容重构网络使用VGG-16对输入图像进行多尺度特征提取，并利用四组不同速率的空洞卷积提取多尺度感受野的图像特征，然后根据提取的特征重构输入图像。纹理细节恢复网络在SRGAN[20]网络的基础上加入了空
【参考文献】：
期刊论文
[1]生成对抗网络GAN综述[J]. 梁俊杰,韦舰晶,蒋正锋. 计算机科学与探索. 2020(01)
[2]生成对抗网络模型综述[J]. 张营营. 电子设计工程. 2018(05)
本文编号：2911058
【文章来源】：中国矿业大学江苏省 211工程院校 教育部直属院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
基于变分PDE算法的图像修复Figure1-1VariationalPDEalgorithmforimageinpainting在之后的研究中，许多研究学者改进了基本的基于变分PDE的图像修复算
1绪论5图1-2基本的纹理修复Figure1-2Thebasictextureinpainting常用的基于纹理图像修复方法是Criminisi算法，针对Criminisi算法中最匹配块搜索和填充的缺点，Gaolong等人[35]提出了一种结合稀疏表示的Criminisi算法，采用稀疏表示方法代替Criminisi算法中的最佳匹配patch搜索，优化了待绘制的标记区域，提高了可信度的优先级。为降低修复时间，Tijana等人[36]使用纹理描述符来指导和加速寻找良好匹配(候选)图像块，这种方法可以用来提高几乎任何(基于图像块的)修复方法的速度和性能。Wei等[37]将PDE与纹理修复相结合，提出了一种新的图像修复算法。对已知图像进行纹理分类，减少纹理搜索区域，降低修复时间。3）基于深度学习的图像修复：生成对抗网络的出现使得图像修复技术的研究迈向一个高峰，vanillaGANs[11]在生成清晰、不模糊图像方面表现出了良好的性能，但训练的不稳定性使其难以扩展到更高分辨率的图像。目前已经提出了几种稳定训练过程的技术，包括DCGAN[14]、基于能量的GAN[38]、WassersteinGAN(WGAN)[39,40]、WGAN-GP[41]、BEGAN[42]、LSGAN[43]。图像修复的一个更相关的任务是条件图像生成。例如，Pix2Pix[44]、Pix2PixHD[45]和CycleGAN[46]使用成对或非成对的数据在不同的域中转换图像。目前基于生成对抗网络的图像修复比较常用的损失函数是对抗损失和L2损失的结合，L2损失计算方差能够激励生成网络的输出，但输出结果无法捕捉高频细节，无法修复出清晰的纹理结构，因此引入对抗损失能够有效解决上述问题。如图1-3所示，将生成对抗网络应用于图像修复的基础模型是Deepak[6]等人结合encoder-decoder机制来实现人脸图像的修复，L2损失与对抗损失相结合可以达到更好的修复效果，最新的、有效的
AN本身难以训练的缺陷，这些方法只能处理低分辨率的输入。而对于现实修复需求更大的高分辨率图像，修复的区域会显得模糊，存在与周围区域不一致的边界，难以修复高频细节。其次，这些基于卷积神经网络的图像修复方法经常生成与已知图像区域不一致的边界伪影、变形结构和不清晰的纹理，除了是受到网络模型本身的影响，还可能是由于卷积神经网络无法将远距离的图像信息和图像补孔之间的长期相关性进行建模引起的。目前仍然没有一种方法可以修复图像中所有类型的失真，在未来，基于深度学习的图像修复还有很长一段路要走。图1-3基于生成对抗网络的图像修复Figure1-3Imageinpaintingmodelbasedongenerativeadversarialnetwork1.3本文主要工作（MajorWorksofThesis）本文针对现有图像修复技术可能会存在与周围区域不同的边界伪影、扭曲的结构和不清晰的纹理的问题提出：1）基于多尺度神经网络的高分辨率图像修复：该网络包含内容重构网络和纹理细节恢复网络。内容重构网络使用VGG-16对输入图像进行多尺度特征提取，并利用四组不同速率的空洞卷积提取多尺度感受野的图像特征，然后根据提取的特征重构输入图像。纹理细节恢复网络在SRGAN[20]网络的基础上加入了空
【参考文献】：
期刊论文
[1]生成对抗网络GAN综述[J]. 梁俊杰,韦舰晶,蒋正锋. 计算机科学与探索. 2020(01)
[2]生成对抗网络模型综述[J]. 张营营. 电子设计工程. 2018(05)
本文编号：2911058
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/2911058.html
