基于深度学习的单幅遥感图像超分辨重建

发布时间：2020-09-14 15:48

　　超分辨重建(Super Resolution,SR)是从一幅或多幅连续低分辨率图像中恢复出一幅高分辨率图像的技术,在遥感图像处理中有着广泛的应用。随着遥感技术在农业和林业监测、城市规划和军事战略方面的迅速发展,高分辨率遥感图像越来越受到人们的关注。然而,传统通过改善硬件来提高成像分辨率的方式成本极高且耗时耗力,而当前常见的超分辨重建方法也存在一些亟待解决的问题,如基于插值的超分辨重建方法所得结果块效应明显,基于重建的方法依赖于图像序列且需要预配准,往往受到缺乏图像序列的限制,基于学习的方法通过训练重建网络实现超分辨,是目前相对效果最好的,但网络复杂度高、训练时间长,以及只关注亮度空间是这类方法的短板。为了解决这些问题,本文提出了一种结合深度学习的SR方法,无需依赖于图像序列实现对单幅遥感图像的超分辨重建。首先构造基于四层卷积的深度神经网络结构,并在结构中前三层卷积后添加参数修正线性单元层和局部响应归一化层进行优化,以均方误差为损失函数对网络进行训练得到超分辨重建模型PLCNN(PreLU and LRN Convolutional Neural Network)。其次,针对多波段的低分辨遥感图像,对其亮度空间进行双三次插值,使用PL-CNN模型对插值结果进行重建,并在亮度空间重建结果指导下,以联合双边滤波来提升其色度空间边缘细节,最后采用自适应非线性反锐化掩膜对重建结果进行后处理增强,单波段遥感图像则无需联合双边滤波处理。实验结果表明,应用本文方法对遥感图像进行2倍、3倍、4倍重建时在无参考指标上均优于对比方法,平均清晰度提升约2.5个单位,同时取得了较好的全参考评价结果;在2倍重建时峰值信噪比较传统插值法提升了约2 dB,且平均训练效率较其他学习法提升3倍以上。联合双边滤波消除了块效应并令边缘更加突出,使所得遥感图像重建结果在目视效果上更加细致、自然;对Spot 5图像进行后处理增强后效果可与融合所得高分辨图像接近。除此之外,本文设计的网络抗过拟合能力强、训练效率高,具有较强的普适性,且可通过适当增加训练样本数量和优选样本类别的方式对模型进行优化。
【学位单位】：中国科学院大学(中国科学院遥感与数字地球研究所)
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP751;TP183
【部分图文】：

基于深度学习的单幅遥感图像超分辨重建

SRCNN网络结构

网络结构图,网络结构

了单幅图像的 SR 重建，其对输入和输出采用了一种新的正则化方式，且在不同水平的重建上都显示出了有效性，运算速度也较快。其后 Dong 等人又于 2016 年提出加速超分辨率卷积网络[21]（FSRCNN），通过增加卷积层个数来提升训练效果，然而其网络冗余度较高，结构复杂且单调，且针对彩色图像色度空间重建和可能出现的过拟合同样未给出更优的策略。此外国内徐冉等人[22]提出了基于双通道卷积的 SR 重建算法，以模型结构复杂度和效率为代价换取了重建信噪比的提升，但仍存在过拟合和边缘问题。Ledig等人[43]基于生成对抗网络的方法 SRGAN（Super-ResolutionGenerativeAdversarialNets，超分辨生成对抗网络，结构如图 2.6）获得了较好的视觉效果，但其客观评价指标上劣势较大，此外针对卫星图像 Patrick[44]在 2017 年提出基于深度神经网络的超分辨重建方法，在主观视觉上达到较好效果，但其结果缺乏与其他方法的客观比较。

遥感图像,退化模型,遥感图像

第 3 章基于深度学习的单幅遥感图像超分辨重建方法第 3 章基于深度学习的单幅遥感图像超分辨重建方法3.1 相关基础及流程3.1.1 遥感图像退化过程遥感图像在成像过程中会受到光学成像系统的影响，进而造成光学模糊、运动模糊及传感器模糊等，影响最终成像的清晰度，同时还会存在几何变形、欠采样及各阶段噪声干扰等情况，进而导致图像的空间分辨率降低，分析其退化模型如图 3.1 所示，可由公式 3.1 表示。

【参考文献】