基于卷积神经网络的单幅图像超分辨率重建算法研究
发布时间：2021-07-19 17:38
图像超分辨率重建是一种典型的底层计算机视觉任务,其目标是从低分辨率（Low Resolution,LR）图像中恢复出细节更加丰富的高分辨率（High Resolution,HR）图像。近年来,卷积神经网络在单幅图像超分辨率重建的应用中取得了巨大的成功,相较于传统方法获得了更好的重建效果。但是现有的重建模型网络结构浅,卷积核感受野较小,难以学习大范围的图像特征,导致重建过程中没能充分利用图像的上下文信息,不利于复杂纹理细节特征的重建,从而影响重建的图像质量。针对现有的基于卷积神经网络的图像超分辨率重建方法存在的问题和不足,本文提出了一种多尺度特征融合递归残差网络模型,由多尺度特征提取、递归残差网络和反卷积重建网络组成。特征提取单元使用不同尺度的卷积核自适应检测不同尺度下的图像特征信息,提取LR图像的浅层特征信息。递归残差网络使用全局残差和多路径模式下的局部残差相结合的方式来学习LR图像和HR图像之间的非线性映射,从不同路径提取的特征不仅会在网络尾部融合,而且会在网络的前向传输过程中融合,其结合了残差块和多路径链接的优点,以充分利用不同尺度的浅层和深层局部图像特征。同时在残差块中引入递归学...
【文章来源】：西安科技大学陕西省
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
图像超分辨率重建技术在生活中的应用
西安科技大学硕士学位论文6高图像的重建质量。随着网络深度的增加，训练过程中出现的问题越来越多，训练难度越来越大，在图像传输的过程中，容易出现局部特征消失的问题，如何充分利用局部多尺度特征和层次特征是获得HR图像的关键。为了解决上述问题，本文提出了一种多尺度特征融合递归残差网络模型（Multi-scalefeaturefusionrecursiveresidualnetwork，MFFRR），由多尺度特征提娶递归残差网络的非线性映射和反卷积重建网络三部分组成，如图1.2所示。图1.2多尺度特征融合递归残差网络模型框图（1）特征提取单元是在单尺度模型的基础上，构造一个多尺度特征提取网络，使用不同尺度的卷积核提取原始LR图像的多尺度特征信息，全面检测具有不同尺度卷积核的浅层图像特征，最大限度的利用LR图像的层次特征，在提取到更多的图像细节特征后，进一步利用特征融合块进行多尺度特征融合。（2）递归残差网络用来学习LR图像和HR图像之间的非线性映射，本文使用全局残差和多路径模式下的局部残差相结合的方式来传输不同卷积层之间的图像特征，通过在不同的卷积层中重用深层特征来提高递归残差网络的表示能力。多路径模式的局部残差将每一层提取到的图像特征传输到后面卷积层，提取并融合多层递归残差特征，充分利用不同尺度的浅层和深层局部图像特征。同时在残差块中引入递归策略，在加深网络结构的同时，使用较少的参数训练网络，增加感受野的同时还可以提高网络的收敛速度。（3）在图像重建部分，使用反卷积层实现图像的上采样操作，将LR图像使用双三次插值法放大后与反卷积上采样得到的图像形成全局残差学习实现最终高分辨率图像的重建。（4）为了验证本文重建模型的性能，本文在四个基准数据集和一个医学数据集上进行了定性分析和定量评估，其中这四个
西安科技大学硕士学位论文82图像超分辨率重建技术与经典算法要想设计一个重建质量较高的图像超分辨率模型，就需要了解低分辨率图像的成像过程，对LR图像的成像过程进行建模得到其降质模型。本文主要研究单幅图像的超分辨率重建算法，但是多幅图像的超分辨率重建技术与之息息相关，本章将对图像超分辨率重建技术整体进行介绍，包括传统的SR方法、基于卷积神经网络的经典算法以及图像质量的评价标准。2.1图像降质模型通常来说，图像的分辨率越高，图像表达细节信息的能力就越强，图像也就越清晰，质量就越高。但是由于成像设备和环境的限制，人们往往获取的图像是由各种劣化因素引起的低分辨率图像，如果通过改善硬件设备提高图像的分辨率，那么所花费的成本较高，并且技术的实现难度较大。所以图像超分辨率技术通过软件的方式来提高图像的分辨率已经应用于各种领域，例如视频监控[28]、医学成像[29]、遥感图像观测[30]，生物特征信息识别等。如图2.1所示，单幅图像超分辨率重建技术将低分辨图像LR损失的高频细节信息有效地恢复出来，从而得到高分辨率图像HR，从图2.1中可以很直观地看出，图像超分辨率的重建效果。图2.1图像超分辨率重建结果示例图像超分辨率重建的任务是从下采样或模糊导致的LR图像中恢复出相对应的HR图像，因此首先需要了解低分辨率图像的成像过程。一般来说，低分辨率图像的成像过程是通过一系列的几何变形、模糊、降采样、加入噪声等形成的，如图2.2所示，这些过程对应于一个数学模型。
【参考文献】：
期刊论文
[1]基于自适应下采样和超分重建的图像压缩框架[J]. 张达明,何小海,任超,吴晓红,李兴龙,范梦. 太赫兹科学与电子信息学报. 2020(02)
[2]一种优化的迭代反投影超分辨率重建方法[J]. 刘克俭,陈淼焱,冯琦. 遥感信息. 2019(03)
[3]用于图像分类的卷积神经网络中激活函数的设计[J]. 王红霞,周家奇,辜承昊,林泓. 浙江大学学报(工学版). 2019(07)
[4]基于深度学习的单图像超分辨率重建研究综述[J]. 南方哲,钱育蓉,行艳妮,赵京霞. 计算机应用研究. 2020(02)
[5]基于Dopout与ADAM优化器的改进CNN算法[J]. 杨观赐,杨静,李少波,胡建军. 华中科技大学学报(自然科学版). 2018(07)
[6]图像融合质量评价方法研究综述[J]. 杨艳春,李娇,王阳萍. 计算机科学与探索. 2018(07)
[7]基于卷积神经网络的视频图像超分辨率重建方法[J]. 刘村,李元祥,周拥军,骆建华. 计算机应用研究. 2019(04)
[8]基于深度卷积神经网络的人脸识别技术综述[J]. 景晨凯,宋涛,庄雷,刘刚,王乐,刘凯伦. 计算机应用与软件. 2018(01)
[9]基于稀疏表示和块匹配的图像超分辨率重建方法[J]. 王芳,赵少林,朱长征. 湘潭大学自然科学学报. 2017(01)
[10]一种反投影模型下的图像重建迭代算法[J]. 赵芳薇,邱钧,刘畅. 中北大学学报(自然科学版). 2015(05)
本文编号：3291132
【文章来源】：西安科技大学陕西省
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
图像超分辨率重建技术在生活中的应用
西安科技大学硕士学位论文6高图像的重建质量。随着网络深度的增加，训练过程中出现的问题越来越多，训练难度越来越大，在图像传输的过程中，容易出现局部特征消失的问题，如何充分利用局部多尺度特征和层次特征是获得HR图像的关键。为了解决上述问题，本文提出了一种多尺度特征融合递归残差网络模型（Multi-scalefeaturefusionrecursiveresidualnetwork，MFFRR），由多尺度特征提娶递归残差网络的非线性映射和反卷积重建网络三部分组成，如图1.2所示。图1.2多尺度特征融合递归残差网络模型框图（1）特征提取单元是在单尺度模型的基础上，构造一个多尺度特征提取网络，使用不同尺度的卷积核提取原始LR图像的多尺度特征信息，全面检测具有不同尺度卷积核的浅层图像特征，最大限度的利用LR图像的层次特征，在提取到更多的图像细节特征后，进一步利用特征融合块进行多尺度特征融合。（2）递归残差网络用来学习LR图像和HR图像之间的非线性映射，本文使用全局残差和多路径模式下的局部残差相结合的方式来传输不同卷积层之间的图像特征，通过在不同的卷积层中重用深层特征来提高递归残差网络的表示能力。多路径模式的局部残差将每一层提取到的图像特征传输到后面卷积层，提取并融合多层递归残差特征，充分利用不同尺度的浅层和深层局部图像特征。同时在残差块中引入递归策略，在加深网络结构的同时，使用较少的参数训练网络，增加感受野的同时还可以提高网络的收敛速度。（3）在图像重建部分，使用反卷积层实现图像的上采样操作，将LR图像使用双三次插值法放大后与反卷积上采样得到的图像形成全局残差学习实现最终高分辨率图像的重建。（4）为了验证本文重建模型的性能，本文在四个基准数据集和一个医学数据集上进行了定性分析和定量评估，其中这四个
西安科技大学硕士学位论文82图像超分辨率重建技术与经典算法要想设计一个重建质量较高的图像超分辨率模型，就需要了解低分辨率图像的成像过程，对LR图像的成像过程进行建模得到其降质模型。本文主要研究单幅图像的超分辨率重建算法，但是多幅图像的超分辨率重建技术与之息息相关，本章将对图像超分辨率重建技术整体进行介绍，包括传统的SR方法、基于卷积神经网络的经典算法以及图像质量的评价标准。2.1图像降质模型通常来说，图像的分辨率越高，图像表达细节信息的能力就越强，图像也就越清晰，质量就越高。但是由于成像设备和环境的限制，人们往往获取的图像是由各种劣化因素引起的低分辨率图像，如果通过改善硬件设备提高图像的分辨率，那么所花费的成本较高，并且技术的实现难度较大。所以图像超分辨率技术通过软件的方式来提高图像的分辨率已经应用于各种领域，例如视频监控[28]、医学成像[29]、遥感图像观测[30]，生物特征信息识别等。如图2.1所示，单幅图像超分辨率重建技术将低分辨图像LR损失的高频细节信息有效地恢复出来，从而得到高分辨率图像HR，从图2.1中可以很直观地看出，图像超分辨率的重建效果。图2.1图像超分辨率重建结果示例图像超分辨率重建的任务是从下采样或模糊导致的LR图像中恢复出相对应的HR图像，因此首先需要了解低分辨率图像的成像过程。一般来说，低分辨率图像的成像过程是通过一系列的几何变形、模糊、降采样、加入噪声等形成的，如图2.2所示，这些过程对应于一个数学模型。
【参考文献】：
期刊论文
[1]基于自适应下采样和超分重建的图像压缩框架[J]. 张达明,何小海,任超,吴晓红,李兴龙,范梦. 太赫兹科学与电子信息学报. 2020(02)
[2]一种优化的迭代反投影超分辨率重建方法[J]. 刘克俭,陈淼焱,冯琦. 遥感信息. 2019(03)
[3]用于图像分类的卷积神经网络中激活函数的设计[J]. 王红霞,周家奇,辜承昊,林泓. 浙江大学学报(工学版). 2019(07)
[4]基于深度学习的单图像超分辨率重建研究综述[J]. 南方哲,钱育蓉,行艳妮,赵京霞. 计算机应用研究. 2020(02)
[5]基于Dopout与ADAM优化器的改进CNN算法[J]. 杨观赐,杨静,李少波,胡建军. 华中科技大学学报(自然科学版). 2018(07)
[6]图像融合质量评价方法研究综述[J]. 杨艳春,李娇,王阳萍. 计算机科学与探索. 2018(07)
[7]基于卷积神经网络的视频图像超分辨率重建方法[J]. 刘村,李元祥,周拥军,骆建华. 计算机应用研究. 2019(04)
[8]基于深度卷积神经网络的人脸识别技术综述[J]. 景晨凯,宋涛,庄雷,刘刚,王乐,刘凯伦. 计算机应用与软件. 2018(01)
[9]基于稀疏表示和块匹配的图像超分辨率重建方法[J]. 王芳,赵少林,朱长征. 湘潭大学自然科学学报. 2017(01)
[10]一种反投影模型下的图像重建迭代算法[J]. 赵芳薇,邱钧,刘畅. 中北大学学报(自然科学版). 2015(05)
本文编号：3291132
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3291132.html
