基于深度学习的单帧图像超分辨率重建算法研究

发布时间：2020-07-22 14:59

【摘要】：基于学习方法的单帧图像超分辨率重建是指利用训练阶段学习到的高低分辨率图像间的映射关系来将一幅低分辨率图像还原成高分辨率图像的过程。基于深度学习的超分辨率重建算法相对于传统算法的性能有大幅度提升,但重建图像的感知质量距离人类视觉感受还有一定的差距,本文针对基于深度学习的超分辨率重建算法存在的问题作了深入的研究,并提出了三个新的超分辨率重建算法,取得了较高的客观评价指标和较好的主观视觉效果。(1)提出一种基于增强Inception单元的单帧图像超分辨率重建算法。针对现有超分辨率重建算法忽视相邻卷积层提取特征的相关性这一问题,该方法通过构建基于通道组合和残差连接的增强Inception单元来融合不同尺度卷积核提取的相邻卷积层特征,进而增强相邻卷积层的相关性。针对中低层特征利用率低,导致重建图像质量难以提升这一问题,该方法将构建的单元通过残差连接组成一个局部结构,在网络从输入到输出的整个过程中获得多个相同的局部结构,最后将这多个局部结构得到的中低层特征信息以递归的方式整合到重建层来丰富输出端的特征信息,进而提升重建图像质量。实验结果证明基于增强Inception单元的超分辨率重建算法的重建图像质量优于其他算法。(2)提出一种基于自注意力机制的单帧图像超分辨率重建算法,该方法包括基于自注意力机制的整体对抗网络和基于图像块的局部对抗网络两部分。针对重建纹理时受到局部感受野的限制这一问题,该方法使用基于自注意力机制的整体对抗网络来获取图像的非局部信息,进而利用了更全局的信息来重建纹理。基于生成对抗网络的超分辨率算法重建出来的图像质量符合人眼感受,但局部纹理不够“真实”,针对这一问题,该方法基于图像块的局部对抗网络判别重建图像块和原始图像块的真假性,使得重建图像块局部纹理的自然程度逼近原始图像块,从而显得更加“真实”。实验结果证明该方法能在获取较“真实”局部纹理的同时获取图像的非局部信息,进而使得重建图像与原始图像有较大的相似度。(3)提出一种基于纹理选择和边缘保留的单帧图像超分辨率重建算法。现有的图像超分辨率重建算法大多是针对包含单一下采样失真的低分辨率图像的标准库进行设计的,然而真实场景失真图像通常包含多种混合失真,因此这些算法在真实场景失真图像上的重建效果并不理想。为了解决这个问题,该方法从真实场景失真图像的自身特性来进行超分辨率重建。针对图像纹理的恢复,该方法通过横向模块来选择性地对浅层的纹理信息进行保留,针对图像边缘的恢复,该方法利用L1和SSIM混合的损失函数来使得重建图像的边缘更加锐化。为了进一步提升重建图像的质量,该方法采用平滑空洞卷积来扩大输出特征的感受野。实验结果证明该方法在标准数据集和真实场景失真测试图像上都能对纹理和边缘进行了有效还原。
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP18
【图文】：

高分辨率图像,图像超分辨率,学习技术,主观视觉

随着近几年深度学习技术的发展，基于深度学习的图像超分辨率重建技术还原出来的高分辨率图像已经能更加符合人的主观视觉感受。图1.1 图像超分辨率重建在日常生活中的应用

退化过程,数字图像

对位置的变化）等致使图像的退化。这里主要考虑外界的变化导致的退化过程，如图1.2 表示图像的退化过程。图1.2 数字图像的退化过程从低分辨率图像还原出高分辨率的图像，则需要对图像的退化过程进行建模，但是图像退化过程是高度非线性的，因此，精确建模每一步退化过程并不实际，为了模型的可实现性，一般使用线性系统模型来近似描述图像退化过程，简化后的退化模型可以用公式来表示：ny dbmx (1-1)其中x是原始的高分辨率图像，y是退化后图像，m是描述原始高分辨率图像到低分辨率图像 y 形变过程的算子，由平移和旋转等参数决定，b是模糊算子，用于模拟由镜头和传感器产生的模糊

高分辨率图像,超分辨率,重建算法

[6]等。图1.3 基于深度学习的超分辨率重建算法分类基于学习的方法思路一般是以外部实例作为训练集，通过数学公式推导等方式学习到低分辨率图像到高分辨率图像的映射关系，然后在测试过程中通过学习到的映射关系将现有的低分辨率图像进行恢复。基于学习的方法可以分为传统的机器方法和深度学习方法两种。传统的机器学习方法一般结合矩阵变换的相关方法来学习这个映射

【相似文献】