基于多流融合生成对抗网络的遥感图像融合方法

发布时间：2024-05-19 08:50

　　由于强大的高质量图像生成能力,生成对抗网络在图像融合和图像超分辨率等计算机视觉的研究中得到了广泛关注。目前基于生成对抗网络的遥感图像融合方法只使用网络学习图像之间的映射,缺乏对遥感图像中特有的全锐化领域知识的应用。该文提出一种融入全色图空间结构信息的优化生成对抗网络遥感图像融合方法。通过梯度算子提取全色图空间结构信息,将提取的特征同时加入判别器和具有多流融合架构的生成器,设计相应的优化目标和融合规则,从而提高融合图像的质量。结合WorldView-3卫星获取的图像进行实验,结果表明,所提方法能够生成高质量的融合图像,在主观视觉和客观评价指标上都优于大多先进的遥感图像融合方法。

【文章页数】：8 页

【部分图文】：

图1用于低分辨率的多光谱图像与全色图像梯度信息融合的生成对抗网络框架

其中N表示训练样本的数量。另一方面，参考变分模型能量函数的设计，我们假设融合图像具有与参考的HRMS图像一致的光谱信息，与PAN图像一致的结构信息，定义Lc用于最小化融合图像和真实图像及全色图像结构信息的差距式中第1部分旨在使得融合图像和真实的HRMS图像足够接近，保留光谱信息....

图2多流融合框架详细的结构

根据算法以及网络框架的设计，本文设计了一种多流融合框架，具体体系结构如图2(a)所示，不同于传统的深度学习算法，因为引入了梯度信息的约束，梯度算子的作用可以看作是特征的提取，因此本文的融合不再使用像素级的融合规则，而是在特征域中完成，并且特征域上的融合会减少细节的丢失。生成器将L....

图3基于WorldView-3卫星数据集的仿真实验融合结果

仿真实验中利用已有的多光谱图像作为参考，将全色图像下采样到和多光谱图像一样的尺寸，将多光谱图像下采样同等倍数作为低分辨率的LRMS图像，整体在缩小的比例上进行融合，得到的融合结果与已有的多光谱图像尺寸一致并测量相关指标。为了直观判断融合图像的质量，首先通过可见光谱的多光谱图像进行....

图4图3中各方法与真实图像对比的残差图

如表1所示，与图像直观效果相应，仿真实验中ATWT-M3算法和BDSD算法图像质量指标Qn较差，神经网络的算法在仿真实验中，各项指标上都大幅度优于传统算法，同时本文算法有着良好的表现，这与融合图像整体模糊的目视结果一致。如表2所示，在Worldview-3卫星数据集的真实数据实....

本文编号：3977880