基于多尺度残差网络的卫星图像超分辨率算法研究与应用

发布时间：2020-05-29 18:02

【摘要】：遥感卫星是近年来飞速发展的现代化对地观测技术,被广泛应用于环境监测、资源勘探、灾害预警和军事等领域。但是在实际场景的遥感卫星图像中,受光学器件、成像噪声和运动模糊等因素的影响,遥感卫星图像分辨率有限,难以满足实际应用场景的需求。超分辨率技术可以克服硬件和技术工艺的限制,从软件层面提高卫星图像的空间分辨率。因此超分辨率重建技术能经济而有效地提高遥感卫星应用效率。基于学习的卫星图像超分辨率算法利用高分辨率样本提供的先验信息,来预测低分辨率图像中缺失的高频信息,获得了较好的效果,因此成为卫星图像超分辨率的主流研究方向。深度学习提供了一种强大的模拟非线性表达的超分辨率解决方案,极大提升了图像超分辨率的主客观重建质量。本文围绕着图像重建中高频信息的恢复和卫星图像的多尺度特性,对“更深”和“更宽”的卷积神经网络展开了研究,主要的研究成果如下:1.基于中继循环残差网络的卫星图像超分辨率算法,针对低分辨率图像和高分辨率图像之间的信息差距增大,传统的超分辨率算法的重建性能下降这一问题,本文设计了一种双层的中继循环残差神经网络,用于增强超分辨率重建图像的重建效果,重建网络负责初步图像重建,中继网络进一步提升图像细节。实验结果表明,所提出的算法在SpaceNet卫星图像数据集上,无论是主观质量还是客观评分都超过了前沿的算法。2.基于多尺度残差神经网络的卫星图像超分辨率算法,针对现有超分辨率网络为了获得精细的重建细节使用较小的感受野,所提出的算法通过大/中/小三个尺度的残差神经网络,模拟人类“多层次观察能更全面的认识目标”的视觉体验。三个网络分别用于预测全局信息/上下文信息/局部信息不同等级的视觉任务,使用神经网络来融合不同的高频信息。此外,本文使用基于超分辨重建的特征匹配验证了该算法重建的结果不论是在主观质量、客观评分还是特征恢复,都优于前沿的卫星图像超分辨率算法。
【图文】：

模型图,模型,高分辨率图像,卫星图像

而卫星图像超分辨率技术是解决上述问题有效且经济的方法，结合已有的先验信息，将观察到的低质量低分辨率卫星图像重构为清晰的高分辨率卫星图像。1.2 国内外研究现状图像超分辨率技术是一种图像空间分辨率的增强技术，通过模拟降质过程的逆过程，将低分辨率图像（Low-resolution，简称 LR）重构为高分辨率图像（High-resolution，简称 HR）[3]。图像降至模型如图 1-1所示。在理想高分辨率图像 Y 的成像过程中，会受到光学衍射效应和CCD 模糊等内部因素，以及大气扰动和光学系统与目标之间的相对运动模糊等外部因素的干扰。受器件的影响，CCD 采样会降低图像的分辨率，而在将光子转化为电压的过程中会产生随机噪声，最终获得观测到的低分辨率图像 X。

卫星图像,图像

网络更应该关注于图像中的高频信息（图像变化丰富的部分），而不是中低频信息（图像变化较少的部分）。现有的基于卷积神经网络的图像超分辨率算法通过构建端到端的复杂非线性映射模型，，但在仿真条件下，低分辨率图像和高分辨率图像的相关性较高。但是在低分辨率图像和高分辨率图像信息差距较大情况下，基于卷积神经网络的算法性能有限。2．卫星图像不同于通用图像，具有成像范围广、图像中物体的尺度差异较大等特性。然而，图像中目标的尺寸在某些视觉任务中起着重要的作用，如图像分割、特征提取和对象追踪。如图 1-2 所示，在同一图像中观察到车辆、天花板和体育馆三种尺度差异较大的目标，使用不同分割尺度才能精确的对不同尺度的目标进行语义分割[25]。可见同一目标在不同的尺度空间表达形式不同，语义信息也不同。而现有的超分辨率重建算法被实际用于通用图像或指定场景，没有效地考虑卫星图像的特殊性，因此不能有效地处理卫星图像。
【学位授予单位】：武汉工程大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP751;TP183

【相似文献】