基于深度集成学习的图像超分辨率算法研究
发布时间：2020-12-17 07:47
单幅图像超分辨重建技术旨在从一幅低分辨率(Low Resolution,LR)图像中重构出纹理清晰的高分辨率(High Resolution,HR)图像。作为图像处理领域中一项关键技术,图像超分辨一直受到学者们的广泛关注,且在诸多实际场景中具有重要应用价值。近年来,利用深度学习理论解决图像超分辨成为研究热点。本文围绕基于深度学习的超分辨算法的现存问题,从集成学习的角度展开研究。本文的主要贡献如下:(1)本文提出一种基于深层与浅层集成网络的端到端超分辨算法,旨在有效提升网络深度,改善深层超分辨模型的性能饱和问题。深层网络虽建模能力强,但优化难度制约了其性能的提升。为此,本文提出将轻量级的浅层网络与深层网络集成,使二者分工合作并联合优化,从而易优化的浅层网络能较快捕获HR图像的主要结构信息,降低深层网络的学习难度,促进优化过程中的梯度传播;在浅层网络的辅助下,深层网络可以充分发挥自身优势,重建出精细的HR细节信息。为进一步提升算法性能,本文提出利用多尺度上下文信息重构HR细节,且在特征空间采用学习的方式对图像上采样,从而实现端到端可训练的集成模型。本文通过大量实验验证了该集成算法的有效性。...
【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校
【文章页数】：133 页
【学位级别】：博士
【部分图文】：
图１．２双立方插值算法对图像的Ｘ３超分辨结果??
?基于深度集成学习的图像超分辨率算法研究???！＿，獅．？．細??Ｌ—???————?－１?ＨＲ图像??卷积神经网络??图１．４基于卷积神经网络的图像超分辨算法示意图??Ｆｉｇ．?１．４?Ｉｌｌｕｓｔｒａｔｉｏｎ?ｏｆ?ＣＮＮ－ｂａｓｅｄ?ｉｍａｇｅ?ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ?ｍｅｔｈｏｄ??进行与锚点相关的选择近邻并线性回归器的建立。Ｙａｎｇ等人提出利用Ｋ均值（Ｋｍｅａｎｓ）??对训练库中的ＬＲ与ＨＲ图像块进行聚类，并对每个聚类的ＬＲ／ＨＲ子集分别一个建立线??性映射关系。文献［５１］则提出基于高斯过程回归（Ｇａｕｓｓｉａｎ?Ｐｒｏｃｅｓｓ?Ｒｅｇｒｅｓｓｉｏｎ，?ＧＰＲ）的??超分辨算法。该算法采用ＧＰＲ得到图像中各个像素点的局部结构信息，并基于非参数??的贝叶斯模型，对局部图像块的边缘进行自适应地预测。??（４）基于深度学习的超分辨算法??近年来，深度学习理论的飞速发展，它的出现弥补了传统浅层学习方法的不足，在??诸多计算机视觉领域（如图像识别、目标检测、语义分割等）己取得了重大突破。深度学??习在图像超分辨领域也引起广泛关注［５２］，并极大地推动了该领域的发展。??基于深度学习的超分辨算法通过设计多层祌经网络建立模型，直接拟合从ＬＲ??到ＨＲ图像之间的非线性映射关系。图１．４为基于卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ??Ｎｅｔｗｏｒｋ，?ＣＮＮ）的图像超分辨算法示意图。这类算法的开篇之作是Ｄｏｎｇ等人［５３］提??出的基于卷积神经网络的超分辨（Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ?ｕｓｉｎｇ?Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ，??ＳＲＣＮＮ）算
这两个网络??进行博弈式的训练，最终使生成器重建出逼近真实场景的ＨＲ图像。由于ＧＡＮ训练过??程非常棘手不稳定，研究者们也提出了一些列改进版的对抗生成超分辨算法［７１－７３］。??与本文研宄最为相关的是利用集成学习（Ｅｎｓｅｍｂｌｅ?Ｌｅａｒｎｉｎｇ）思想设汁深度祌经网络??—？网络１?；?．■－二，，二…??德——，融合－雜??ＬＲ输入??￣￣？网络Ｎ???ＨＲ输出??（ａ）??????????????二＇?潑ｃ??則?▲?ＨＲ输石緣舞??（ｂ）??图１．５两种基于集成学习的图像超分辨结构示意图??Ｆｉｇ．?１．５?Ｅｘａｍｐｌｅｓ?ｏｆ?ｔｗｏ?ｅｎｓｅｍｂｌｅ?ｓｔｒｕｃｔｕｒｅｓ?ｆｏｒ?ｉｍａｇｅ?ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ??－１１－??
【参考文献】：
期刊论文
[1]基于小波域的深度残差网络图像超分辨率算法[J]. 段立娟,武春丽,恩擎,乔元华,张韵东,陈军成. 软件学报. 2019(04)
[2]基于递归残差网络的图像超分辨率重建[J]. 周登文,赵丽娟,段然,柴晓亮. 自动化学报. 2019(06)
[3]小波域多角度轮廓模板变分模型的单幅图像超分辨率重建[J]. 王相海,赵晓阳,毕晓昀,陶兢喆. 电子学报. 2018(09)
[4]基于二阶广义方向性全变分的图像超分辨率重建方法[J]. 伍政华,孙明健,顾宗山,范明意. 电子学报. 2017(11)
[5]基于深度学习的图像超分辨率复原研究进展[J]. 孙旭,李晓光,李嘉锋,卓力. 自动化学报. 2017(05)
博士论文
[1]基于稀疏表示的图像超分辨率重建模型研究[D]. 谢超.东南大学 2018
[2]基于学习的单幅图像超分辨率重建方法研究[D]. 程培涛.西安电子科技大学 2017
本文编号：2921677
【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校
【文章页数】：133 页
【学位级别】：博士
【部分图文】：
图１．２双立方插值算法对图像的Ｘ３超分辨结果??
?基于深度集成学习的图像超分辨率算法研究???！＿，獅．？．細??Ｌ—???————?－１?ＨＲ图像??卷积神经网络??图１．４基于卷积神经网络的图像超分辨算法示意图??Ｆｉｇ．?１．４?Ｉｌｌｕｓｔｒａｔｉｏｎ?ｏｆ?ＣＮＮ－ｂａｓｅｄ?ｉｍａｇｅ?ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ?ｍｅｔｈｏｄ??进行与锚点相关的选择近邻并线性回归器的建立。Ｙａｎｇ等人提出利用Ｋ均值（Ｋｍｅａｎｓ）??对训练库中的ＬＲ与ＨＲ图像块进行聚类，并对每个聚类的ＬＲ／ＨＲ子集分别一个建立线??性映射关系。文献［５１］则提出基于高斯过程回归（Ｇａｕｓｓｉａｎ?Ｐｒｏｃｅｓｓ?Ｒｅｇｒｅｓｓｉｏｎ，?ＧＰＲ）的??超分辨算法。该算法采用ＧＰＲ得到图像中各个像素点的局部结构信息，并基于非参数??的贝叶斯模型，对局部图像块的边缘进行自适应地预测。??（４）基于深度学习的超分辨算法??近年来，深度学习理论的飞速发展，它的出现弥补了传统浅层学习方法的不足，在??诸多计算机视觉领域（如图像识别、目标检测、语义分割等）己取得了重大突破。深度学??习在图像超分辨领域也引起广泛关注［５２］，并极大地推动了该领域的发展。??基于深度学习的超分辨算法通过设计多层祌经网络建立模型，直接拟合从ＬＲ??到ＨＲ图像之间的非线性映射关系。图１．４为基于卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ??Ｎｅｔｗｏｒｋ，?ＣＮＮ）的图像超分辨算法示意图。这类算法的开篇之作是Ｄｏｎｇ等人［５３］提??出的基于卷积神经网络的超分辨（Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ?ｕｓｉｎｇ?Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ，??ＳＲＣＮＮ）算
这两个网络??进行博弈式的训练，最终使生成器重建出逼近真实场景的ＨＲ图像。由于ＧＡＮ训练过??程非常棘手不稳定，研究者们也提出了一些列改进版的对抗生成超分辨算法［７１－７３］。??与本文研宄最为相关的是利用集成学习（Ｅｎｓｅｍｂｌｅ?Ｌｅａｒｎｉｎｇ）思想设汁深度祌经网络??—？网络１?；?．■－二，，二…??德——，融合－雜??ＬＲ输入??￣￣？网络Ｎ???ＨＲ输出??（ａ）??????????????二＇?潑ｃ??則?▲?ＨＲ输石緣舞??（ｂ）??图１．５两种基于集成学习的图像超分辨结构示意图??Ｆｉｇ．?１．５?Ｅｘａｍｐｌｅｓ?ｏｆ?ｔｗｏ?ｅｎｓｅｍｂｌｅ?ｓｔｒｕｃｔｕｒｅｓ?ｆｏｒ?ｉｍａｇｅ?ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ??－１１－??
【参考文献】：
期刊论文
[1]基于小波域的深度残差网络图像超分辨率算法[J]. 段立娟,武春丽,恩擎,乔元华,张韵东,陈军成. 软件学报. 2019(04)
[2]基于递归残差网络的图像超分辨率重建[J]. 周登文,赵丽娟,段然,柴晓亮. 自动化学报. 2019(06)
[3]小波域多角度轮廓模板变分模型的单幅图像超分辨率重建[J]. 王相海,赵晓阳,毕晓昀,陶兢喆. 电子学报. 2018(09)
[4]基于二阶广义方向性全变分的图像超分辨率重建方法[J]. 伍政华,孙明健,顾宗山,范明意. 电子学报. 2017(11)
[5]基于深度学习的图像超分辨率复原研究进展[J]. 孙旭,李晓光,李嘉锋,卓力. 自动化学报. 2017(05)
博士论文
[1]基于稀疏表示的图像超分辨率重建模型研究[D]. 谢超.东南大学 2018
[2]基于学习的单幅图像超分辨率重建方法研究[D]. 程培涛.西安电子科技大学 2017
本文编号：2921677
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/2921677.html
