基于密集判别与注意力特征传播的细粒度图像修复

发布时间：2021-07-24 21:26

　　图像修复是指根据图像未破损区域的已知像素,推断并重建图像破损区域像素的过程,在图像编辑、图像渲染以及机器人定位方面有着重要的应用。随着深度学习的兴起,图像修复技术在修复性能方面得到了巨大的提升;但在具有挑战性的图像修复任务中,当前方法仍然存在不足。本文深入分析并研究当前代表性方案在图像修复网络框架设计上的缺陷,以及当前代表性方案在图像修复效果方面存在的细节模糊与结构错误问题。进而针对细节模糊与结构错误的问题,提出两个端对端网络框架,实现图像修复结果在结构与细节上的共同提升。本文的主要工作包括:1.深入研究当前三种代表性的图像修复算法:CE（Context Encoders:Feature Learning by Inpainting）、CA（Generative Image Inpainting with Contextual Attention）和MC（Image Inpainting via Generative Multi-column Convolutional Neural Networks）。其中CE为基于深度学习的图像修复算法中最为经典的算法之一,首次成功实现采用自动编码... 

【文章来源】：兰州理工大学甘肃省

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

图像修复算法的通用范式

工程硕士学位论文5的网络结构与类似传统图像块替换（PatchSwap）方法的使用，造成该方法复杂度较高。在之后的（ConferenceandWorkshoponNeuralInformationProcessingSystems2018，NIPS2018）上，Wang等人[3]提出一种用于图像修复的多列生成网络（ImageInpaintingviaGenerativeMulticolumnConvolutionalNeuralNetworks，MC[3]），设计置信驱动的重建损失，并采用一种隐含的多样马尔可夫随机场(ImplicitDiversifiedMarkovRandomField，ID-MRF)正则化方案来增强局部细节。它在矩形和不规则掩码上都取得了很好的效果。（InternationalConferenceonLearningRepresentations2018，ICLR2018）上Liu等人[38]在图像修复中引入部分卷积，对(1)输入(2)PM[1](3)CA[2](4)MC[3]图1.2主流方的不足之处

工程硕士学位论文9第2章代表性图像修复算法本章主要分析研究基于深度学习的三种具有代表性的图像修复算法：CE[31]、CA[2]与MC[3]。本章通过对上述三种方法的深入研究与复现，验证其优点，分析每种方法的优点与不足并提出针对这些不足的改进思路。2.1CE图像修复算法CE为最早实现语义级别图像修复的图像修复算法，提出基于上下文像素预测破损区域像素的无监督视觉特征学习算法。受自动编码器[30,39]与word2vec[40]的启发，CE提出上下文编码器（ContextEncoders）[31]，可以根据图像缺失区域周围环境生成任意破损图像区域的内容。为完成这一任务，上下文编码器需要理解整个图像的内容，并对破损的缺失的部分提出合理的假设。破损区域在重建时有多种不同的合理解，即图像修复是多模态的。单一的L1或L2重建损失无法很好的处理如图像修复这样的多模态问题，致使修复结果过于模糊。为此CE在训练上下文编码器时同时使用标准的L2像素级别重建损失以及生成对抗损失。相较于使用单一的像素级别重建损失，“重建损失+对抗损失”可产生更清晰的结果，更好地处理多模态图像修复。2.1.1CE算法的网络结构图2.1上下文编码器（CE）算法网络框架

【参考文献】：
期刊论文
[1]深度学习研究综述[J]. 张荣,李伟平,莫同.  信息与控制. 2018(04)

博士论文
[1]基于样本的数字图像修复技术研究[D]. 张晴.华东理工大学 2012

硕士论文
[1]数字图像修复算法的研究[D]. 汪琦.南昌大学 2018
[2]基于彩色图像聚类分割的Kinect深度图像修复算法[D]. 钱锐.郑州大学 2018



本文编号：3301458