结合判别相关分析与特征融合的遥感图像检索

发布时间：2021-10-15 11:34

　　目的高分辨率遥感图像检索中,单一特征难以准确描述遥感图像的复杂信息。为了充分利用不同卷积神经网络（convolutional neural networks,CNN）的学习参数来提高遥感图像的特征表达提出一种基于判别相关分析的方法融合不同CNN的高层特征。方法将高层特征作为特殊的卷积层特征处理,为了更好地保留图像的原始空间信息在图像的原始输入尺寸下提取不同高层特征再对高层特征进行最大池化来获得显著特征;计算高层特征的类间散布矩阵,结合判别相关分析来增强同类特征的联系,并突出不同类特征之间的差异,从而提高特征的判别力;选择串联与相加两种方法来对不同特征进行融合,用所得融合特征来检索高分辨率遥感图像。结果在UC-Merced、RSSCN7和WHU-RS19数据集上的实验表明与单一高层特征相比绝大多数融合特征的检索准确率和检索时间都得到有效改进。其中,在3个数据集上的平均精确率均值（mean average precision,mAP）分别提高了10.4%～14.1%、5.7%～9.9%和5.9%～17.6%。以检索能力接近的特征进行融合时,性能提升更明显。在UC-Merced数据集上融合特... 

【文章来源】：中国图象图形学报. 2020,25(12)北大核心CSCD

【文章页数】：12 页

【部分图文】：

基于DCA特征融合的图像检索流程图

为了验证本文方法的有效性，采用UC-Merced(Yang和Newsam,2013)数据集、WHU-RS19 (Hu等，2015)数据集和RSSCN7数据集(Zou等，2015)进行实验。UC-Merced数据集中的图像来源于美国地质勘探局收集的国家城市地区地图，每幅图像大小为256×256像素，包含飞机、海滩、建筑物等21个类，每类100幅图像，示例图像如图2(a)所示。RSSCN7数据集包含2 800幅遥感图像，每幅图像大小为400×400像素，包含草地、森林、农田、停车场、住宅区、工业区和河湖共7个类别，每个类别包含400幅图像，示例图像如图2 (b)所示。WHU-RS19数据集中的图像来自谷歌地球，每幅图像大小为600×600像素，包含港口、火车站、高架等19个类，每类50幅图像，示例图像如图2(c)所示。实验中，采用Mat Conv Net (Vedaldi和Lenc,2015)框架提取VGG16 (Simonyan和Zisserman,2015)、VGGM(visual geometry group medium)(Chatfield等，2014)、Res Net50(He等，2016)和Goog Le Net(Szegedy等，2015)的高层特征，VGG16和VGGM的高层特征为全连接层Re LU 6层的输出值，分别简记为V和M;Res Net50和Goog Le Net的高层特征为最后的池化层对应的特征，分别简记为R和G。V与R的融合特征简记为V-R，其他融合特征采用类似的标记。实验时，将数据集中80%的图像作为训练集，剩余20%作为测试集。

图3(b)和图3(c)分别是在RSSCN7和WHU-RS19数据集中的检索结果。可以看出，输入图像在原始尺寸下的检索性能优于传统默认尺寸。RSS-CN7数据集与WHU-RS19数据集中图像的原始尺寸分别为400×400像素和600×600像素，与默认尺寸224×224像素相差较大，同UC-Merced数据集相比，这两个数据集在原始尺寸下的检索结果优势更明显。RSSCN7数据集在原始输入尺寸下的m AP比默认尺寸下的m AP提高了4%左右，AN-MRR降低了3%左右。在WHU-RS19数据集中，原始输入尺寸下的m AP比默认尺寸的m AP提高了7%左右，ANMRR降低了6%左右。其中检索效果最好的是M-R,m AP达到0.940 0。由此可知，随着输入图像的原始尺寸增加，在原始尺寸下提取特征的检索结果越好。2.4 查准率—查全率比较

【参考文献】：
期刊论文
[1]结合深度学习与相关反馈的遥感图像检索[J]. 彭晏飞,宋晓男,武宏,訾玲玲.  中国图象图形学报. 2019(03)
[2]卷积神经网络多层特征联合的遥感图像检索[J]. 杨珂,李从敏,周维勋,程起敏,任应超.  测绘科学. 2019(07)
[3]基于特征关联融合的图像检索方法[J]. 刘润杰,张化祥,孔文杰.  济南大学学报(自然科学版). 2015(05)
[4]一种融合颜色和纹理特征的遥感图像检索方法[J]. 陆丽珍,刘仁义,刘南.  中国图象图形学报. 2004(03)



本文编号：3437950