多时相遥感影像语义分割色彩一致性对抗网络

发布时间：2021-03-20 16:42

　　利用深度卷积神经网络智能化地提取遥感图像中的建筑物对于数字城市构建、灾害侦查、土地管理等具有重要意义。多时相遥感图像之间的色彩差异会导致建筑物语义分割模型泛化能力下降。针对此,本文提出了注意力引导的色彩一致生成对抗网络（attention-guided color consistency adversarial network,ACGAN）。该算法以参考色彩风格图像及相同区域、不同时相的待纠正图像作为训练集,采用加入了U型注意力机制的循环一致生成对抗网络训练得到色彩一致模型。在预测阶段,该模型将待纠正图像的色调转换为参考色彩风格图像的色调,这一阶段基于深度学习模型的推理能力,而不再需要相应的参考色彩风格图像。为了验证算法的有效性,首先,将本文算法与传统的图像处理算法及其他循环一致生成对抗网络做了对比试验。结果表明,ACGAN色彩一致后的图像与参考色彩风格图像的色调更加相似。其次,将以上不同的色彩一致性算法处理后的结果图像进行建筑物语义分割试验,证明本文方法更加有利于多时相遥感图像语义分割模型泛化能力的提升。 

【文章来源】：测绘学报. 2020,49(11)北大核心EICSCD

【文章页数】：12 页

【部分图文】：

CycleGAN网络的基本结构

与CycleGAN类似,ACGAN仍是具有成对的生成器与鉴别器的环形结构。利用ACGAN网络将目标域B的数据分布x转换为源域A数据分布y的过程称为x→y方向的转换;将源域A的数据分布y转换为目标域B数据分布x的过程称为y→x方向的转换。对于x→y方向的转换,如图2所示。第1阶段,通过源域生成器Gy将目标域分布x转换为与源域基本一致的数据分布Gy(x);同时,将x输入源域的注意力网络ATy,得到注意力图xat。Gy(x)与xat相乘的结果为目标域图像转换后的前景X1。x与反注意力图(1-xat)相乘的结果为目标域图像未转换的背景X2。将X1与X2相加,即得到如下目标域到源域的转换结果

卫星图像来自GF-2卫星拍摄的武汉市(E114.30°,N30.6°)2015年和2016年变化检测遥感图像,覆盖了196.0 km2的区域,其中包含建筑物密集的城区、河流、农田及工业区,地物类型丰富,下文称其为数据集2。两个时相的图像地面分辨率均为1 m,大小均为13 999×14 000像素,并且均有RGB 3个波段。本次试验将数据集2无重叠裁剪为512×512像素的图片,如图5所示,2015年为源域的参考色彩风格图像,2016年为目标域的待纠正图像,即2015年图像的色彩迁移到2016年的图像。图4 数据集1中2012年和2016年航空图像

【参考文献】：
期刊论文
[1]融合可变形卷积与条件随机场的遥感影像语义分割方法[J]. 左宗成,张文,张东映.  测绘学报. 2019(06)
[2]遥感影像建筑物提取的卷积神经元网络与开源数据集方法[J]. 季顺平,魏世清.  测绘学报. 2019(04)
[3]光学遥感影像的自动匀光处理及应用[J]. 李德仁,王密,潘俊.  武汉大学学报(信息科学版). 2006(09)



本文编号：3091322