基于语义感知深度模型的图像修复方法研究
发布时间：2021-03-28 22:06
图像修复的主要任务是根据图像已知信息来重建缺失内容,使观察者无法察觉到图像曾经被破坏过。作为计算机视觉研究领域的一项重要内容,图像修复因其在数字文化遗产保护,图片/视频再编辑,电视/电影后期制作等行业中具有的重要应用价值而被广泛关注。传统技术上,依据图像像素间的相关性和内容相似性,人们主要采用基于数学和物理的方法来实现图像修复。随着深度学习技术在学术界和工业界的飞速发展,尤其是各种生成网络的出现,利用深度学习实现图像修复成为了研究的热点并取得了众多突破性的进展。图像作为结构化数据,必然存在上下文语义,而基于深度模型的图像修复被证实能通过有效地提取图像语义特征信息来生成修复图像。具体研究中,如何增强深度模型对图像语义特征的表达能力,以提高修复图像的结构连贯性、纹理一致性以及语义完整性是研究的焦点。同时,针对于随机破损图像的修复,保证修复质量,降低模型复杂度,提高模型的泛化能力也变得至关重要。总的来说,基于深度模型的语义图像修复仍然是一个十分有挑战的研究课题。本文针对现有图像修复工作中依然存在的修复内容模糊、语义不明确及深度模型复杂,模型泛化能力不强等问题展开研究。论文的主要工作和创新点如...
【文章来源】：合肥工业大学安徽省 211工程院校 教育部直属院校
【文章页数】：88 页
【学位级别】：博士
【部分图文】：
图２．１卷积网络发展史??Ｆｉｇ?２．１?Ｈｉｓｔｏｒｙ?ｏｆ?ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｎｅｔｗｏｒｋｓ??卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋｓ，简称ＣＮＮｓ）是一类可训练的??
输出值等于输入值，并使用反向传播算法来对网络进行训练。其由两部分??组成：一个编码器和一个生成重构的解码Ｉ?２００６年，Ｈｉｎｔｏｎ等［６１］对原型自编??码器结构进行了改进，提出了深度Ｓ动编码（ＤＡＥ）网络，相对于原始的自编码??器加大了深度，提高了学习能力，更利于网络预训练。先用无监督逐层贪心训练??算法完成对隐含层的预训练，然后用ＢＰ算法对整个神经网络进行系统性参数优??化调整，有效改善了?ＢＰ算法易陷入局部最小值的不良状况。??｜ｌｆｌ！??Ｌ１?Ｌ２?Ｌ３?Ｌ４?Ｌ５??图２．２深度自编码器网络结构图??Ｆｉｇ?２．２?Ｔｈｅ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｇｒａｍ?ｏｆ?ｄｅｅｐ?ａｕｔｏ－ｅｎｃｏｄｅｒ?ｎｅｔｗｏｒｋ??如图２．２所示为一个５层的深度自编码器，隐层节点从高到低（编码），再??从低到高（解码），其中间每一层都本质上是原输入的一个隐层表示。??２．２．１．３生成对抗网络??生成对抗网络（Ｇｅｎｅｒａｔｉｖｅ?Ａｄｖｅｒｓａｒｉａｌ?Ｎｅｔｗｏｒｋｓ，?ＧＡＮｓ）：最初是由?Ｇｏｏｄｆｅｌｌｏｗ??等［５］在２０１４年提出的一种图像生成模型，主要灵感来源于博弈论咿零和博弈的??思想，具体来说就是“通过：由成网络Ｇ?（Ｇｅｎｅｒａｔｏｒ）和判别网络Ｄ（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）??不断博弈，生成器Ｇ用来捕获真实数据样本的潜在分布，通过随机噪声ｚ生成新的??数据样本Ｇ（ｘ）；判别器Ｚ）是一个二分类器，判断输入是真实数据ｘ还是生成的样??本，通过这种对抗学习的方式来训练整个模型”。将其用到图像生成上，则训练??完成后，Ｇ可以从一段随机噪声中生成接近真实数据分布的看似逼真的图像。??训练过程中，通过设定
Ｇ和Ｄ构成了一??个动态的“博弈过程”，通过网络对抗损失函数来不断对抗训练以达到最终的平??衡点，其目标函数Ｋ（Ｄ，Ｇ）如式（２－１）所示：??ｍｉｎｍａｘｌ／（Ｚ），Ｇ）?＝?Ｅｘ＾Ｐｄａｔａ（ｘ）［＼ｏｇＤ（ｘ＇）］?＋?Ｅｚ＾Ｐｚ（ｚ）［＼ｏｇ?（１?－Ｄ（Ｇ（ｚ）））］?（２－１）??Ｌｒ?Ｕ??其中，￡■表示分布．函数的期望僮＾?ｐｄａｔａ（ｘ）代表真实样本的分布，ｐｚ（ｚ）为定义在??低维的噪声分布，通过网络参数＆的Ｇ映射到高维的数据空间得到ＧＡＮ??的计算流程和结构如图２．３所示。??对抗神经网络采用的是一种无监督的学习方式训练，可以被广泛用在无监督??学习和半监督领域，比如图片风格迀移，超分辨率，图像修复，图像去噪等ｆｔ．??１〇ＳＳｑ??ｒ?ｒ?＼?ｌ〇ＳＳｐ??随机噪声?？生成器Ｇ?—??ｚ￣Ｐ〇）???？判别器Ｄ?真／伪？）??真实数据??Ｘ?？ｐ（ｘ）??图２．３?ＧＡＮ的计算流程和结构图??Ｆｉｇ?２．３?Ｔｈｅ?ｃａｌｃｕｌａｔｉｏｎ?ｆｌｏｗ?ｃｈａｒｔ?ａｎｄ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｇｒａｍ?ｏｆ?ＧＡＮ??２．２．２基于自编码器的图像修复方法??自编码器是一种无监督学习训练的神经网络，在编码过程中，将高维的图像??数据进行降维编码，提取图像的低维特征表达，再经过解码过程还原原始数据的??一种学习方式。应用到图像修复中，由编码解码过程修复出目标内容，再通过逐??像素缩小原始图像与修复图像间的像素误差，逐步优化修复结果的一种方式。严??格来说，这种方式并不是真正意义上的学习重建原始图像，而是一种在像素级别??的逼近修复＊为了能让修复图像在数据分布上拟合原始数据，人们通常
【参考文献】：
期刊论文
[1]深度学习图像修复方法综述[J]. 强振平,何丽波,陈旭,徐丹. 中国图象图形学报. 2019(03)
本文编号：3106319
【文章来源】：合肥工业大学安徽省 211工程院校 教育部直属院校
【文章页数】：88 页
【学位级别】：博士
【部分图文】：
图２．１卷积网络发展史??Ｆｉｇ?２．１?Ｈｉｓｔｏｒｙ?ｏｆ?ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｎｅｔｗｏｒｋｓ??卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋｓ，简称ＣＮＮｓ）是一类可训练的??
输出值等于输入值，并使用反向传播算法来对网络进行训练。其由两部分??组成：一个编码器和一个生成重构的解码Ｉ?２００６年，Ｈｉｎｔｏｎ等［６１］对原型自编??码器结构进行了改进，提出了深度Ｓ动编码（ＤＡＥ）网络，相对于原始的自编码??器加大了深度，提高了学习能力，更利于网络预训练。先用无监督逐层贪心训练??算法完成对隐含层的预训练，然后用ＢＰ算法对整个神经网络进行系统性参数优??化调整，有效改善了?ＢＰ算法易陷入局部最小值的不良状况。??｜ｌｆｌ！??Ｌ１?Ｌ２?Ｌ３?Ｌ４?Ｌ５??图２．２深度自编码器网络结构图??Ｆｉｇ?２．２?Ｔｈｅ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｇｒａｍ?ｏｆ?ｄｅｅｐ?ａｕｔｏ－ｅｎｃｏｄｅｒ?ｎｅｔｗｏｒｋ??如图２．２所示为一个５层的深度自编码器，隐层节点从高到低（编码），再??从低到高（解码），其中间每一层都本质上是原输入的一个隐层表示。??２．２．１．３生成对抗网络??生成对抗网络（Ｇｅｎｅｒａｔｉｖｅ?Ａｄｖｅｒｓａｒｉａｌ?Ｎｅｔｗｏｒｋｓ，?ＧＡＮｓ）：最初是由?Ｇｏｏｄｆｅｌｌｏｗ??等［５］在２０１４年提出的一种图像生成模型，主要灵感来源于博弈论咿零和博弈的??思想，具体来说就是“通过：由成网络Ｇ?（Ｇｅｎｅｒａｔｏｒ）和判别网络Ｄ（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）??不断博弈，生成器Ｇ用来捕获真实数据样本的潜在分布，通过随机噪声ｚ生成新的??数据样本Ｇ（ｘ）；判别器Ｚ）是一个二分类器，判断输入是真实数据ｘ还是生成的样??本，通过这种对抗学习的方式来训练整个模型”。将其用到图像生成上，则训练??完成后，Ｇ可以从一段随机噪声中生成接近真实数据分布的看似逼真的图像。??训练过程中，通过设定
Ｇ和Ｄ构成了一??个动态的“博弈过程”，通过网络对抗损失函数来不断对抗训练以达到最终的平??衡点，其目标函数Ｋ（Ｄ，Ｇ）如式（２－１）所示：??ｍｉｎｍａｘｌ／（Ｚ），Ｇ）?＝?Ｅｘ＾Ｐｄａｔａ（ｘ）［＼ｏｇＤ（ｘ＇）］?＋?Ｅｚ＾Ｐｚ（ｚ）［＼ｏｇ?（１?－Ｄ（Ｇ（ｚ）））］?（２－１）??Ｌｒ?Ｕ??其中，￡■表示分布．函数的期望僮＾?ｐｄａｔａ（ｘ）代表真实样本的分布，ｐｚ（ｚ）为定义在??低维的噪声分布，通过网络参数＆的Ｇ映射到高维的数据空间得到ＧＡＮ??的计算流程和结构如图２．３所示。??对抗神经网络采用的是一种无监督的学习方式训练，可以被广泛用在无监督??学习和半监督领域，比如图片风格迀移，超分辨率，图像修复，图像去噪等ｆｔ．??１〇ＳＳｑ??ｒ?ｒ?＼?ｌ〇ＳＳｐ??随机噪声?？生成器Ｇ?—??ｚ￣Ｐ〇）???？判别器Ｄ?真／伪？）??真实数据??Ｘ?？ｐ（ｘ）??图２．３?ＧＡＮ的计算流程和结构图??Ｆｉｇ?２．３?Ｔｈｅ?ｃａｌｃｕｌａｔｉｏｎ?ｆｌｏｗ?ｃｈａｒｔ?ａｎｄ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｇｒａｍ?ｏｆ?ＧＡＮ??２．２．２基于自编码器的图像修复方法??自编码器是一种无监督学习训练的神经网络，在编码过程中，将高维的图像??数据进行降维编码，提取图像的低维特征表达，再经过解码过程还原原始数据的??一种学习方式。应用到图像修复中，由编码解码过程修复出目标内容，再通过逐??像素缩小原始图像与修复图像间的像素误差，逐步优化修复结果的一种方式。严??格来说，这种方式并不是真正意义上的学习重建原始图像，而是一种在像素级别??的逼近修复＊为了能让修复图像在数据分布上拟合原始数据，人们通常
【参考文献】：
期刊论文
[1]深度学习图像修复方法综述[J]. 强振平,何丽波,陈旭,徐丹. 中国图象图形学报. 2019(03)
本文编号：3106319
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3106319.html
最近更新
教材专著
