双支路深度神经网络下的遥感图像配准及多分辨率融合分类

发布时间：2020-06-17 14:55

【摘要】：在利用遥感技术对地球表面进行探测的过程中,遥感图像的匹配及多分辨率的融合分类问题一直是非常关键的研究课题。一方面,随着信息技术的发展和硬件设备上的支持,人们可以从卫星、飞机等各种遥感平台上获取分辨率越来越高、内容越来越复杂的遥感图像。这些遥感图像所特有的数据多源异构、目标结构多变、背景纷繁复杂等特性,使得传统方法已经越来越难以满足对其进行高效解译的需求。而另一方面,深度学习在自然图像、视频和语音等领域的发展如火如荼,展现了其对海量数据强大的特征提取能力,但它在遥感领域的应用才初露锋芒。与近景拍摄的自然图像不同,遥感图像具有特性复杂、噪声干扰大、局部信息扭曲、容纳大量不同尺度的地物信息、样本标记少等特性。因此,在本文的工作中,我们充分利用遥感数据的特殊性质,设计了多种专门处理遥感数据的深度神经网络模型,用以完成遥感图像配准和融合分类任务。此外,这些工作还能够被独立地应用于其它相关的任务,具有较强的泛化性能。这些成果也获得了国内外同行的认可,具体内容有:1.针对遥感数据中SAR图像的数据特点,提出了一种基于多特征检测和树形网络匹配的SAR图像配准方法。多特征检测策略有利于同时保留两种类型的特征信息。相比于传统的一类特征,该策略既可以检测到丰富的纹理特征,又可以找到稳定的角点特征,在扩充特征点数目的同时丰富了特征的类型,充分利用图像信息为后续的配准过程做准备。考虑到SAR图像的斑点噪声,使用一种基于统计的指数加权平均比率的算子计算上述两种检测器的梯度。在特征匹配过程,提出的树形匹配网络算法主要由主干网和分支网两个部分构成,随着网络的构造来寻找匹配对。该算法将特征约束与特征点之间的空间关系结合在一起,具有比原算法更多的匹配对和更高的亚像素匹配精度。在SAR图像配准任务中,该算法在鲁棒性和有效性等方面比传统算法具有更优越的性能。2.针对于更高分辨率、更复杂结构的大场景遥感图像特性,提出了一种基于双支路卷积深度置信网框架的特征匹配算法,将图像配准任务转化为一个二值分类问题。为了匹配两个关键点,将两个以关键点为中心的图像块输入到该网络中。该网络的目的是学习用于图像块匹配的显著特征表示,以便在保持较高的亚像素级别的匹配精度的前提下获得更多的匹配对。该网络采用两阶段训练的方式来处理遥感图像的复杂特征。此外,在样本选择上,提出了一种自适应的样本选择策略,通过其中心关键点的尺度来确定每个图块的大小,从而确定样本的邻域范围。因此,每个图块可以保留其关键点周围的纹理结构,而不是所有图块都具有预定的尺寸大小。在匹配预测阶段,为了提高匹配效率和匹配精度,分别设计了基于超像素的样本分级策略和基于超像素的有序空间匹配策略。实验结果和理论分析证明了该方法的可行性、鲁棒性和有效性。3.提出了一种自适应特征融合空间网络,用于高分辨率遥感图像的配准任务。该网络具有多尺度的概念,不需要人为的为每个样本确定领域范围,它可以对不同的样本能自适应地选择合适的邻域信息。我们通过将深层特征与浅层特征相互融合,并根据输入样本特性自适应地调整它们之间的融合权重,为该输入样本提供鲁棒的特征表示。此外,将空间变换的思想嵌入到网络中,使两个支路在融合前尽可能地调整到同一坐标系下,从而提高匹配预测的置信度。4.针对于多光谱和全色图的融合分类任务,提出了一种双支路特征融合网络。它旨在将特征级融合和分类集合成一个端到端的网络模型框架中。考虑到一个大尺寸的遥感场景,提出了一种自适应样本选择策略。在网络结构中,我们提出了一种双路径模块,在保证稠密连接路径中层与层之间的最大梯度信息流的同时,有效缓解残差路径中的梯度爆炸。该模块可以提取出更强大的特征,以应对遥感图像的复杂特征。最后,我们采用渐进协同的方式逐步整合这两个支路的特性,从而减少计算负担,提高分类精度。实验证明,本算法在大场景下的遥感图像融合分类任务中表现优异。5.设计了一个用于遥感图像多分辨率融合分类的双支路注意力融合深度网络。在建立训练样本库的过程中,提出了一种自适应中心偏移采样策略,该策略与传统的像素中心采样策略不同,它允许每个图像块通过寻找待分类像素的纹理结构来自适应地确定邻域范围。而邻域范围与此像素不对称,我们希望捕捉到更利于其分类的邻域信息。在网络结构上,基于采样策略捕获的图像块,对多光谱数据设计了一种通道注意模块,突出了多光谱数据谱段信息丰富的优势;而对全色数据设计了一种空间注意模块,突出了全色数据高空间分辨率的优势。然后将这两个特征相互融合,进一步从融合后的特征中提取更深层的特征进行分类。在高分辨率遥感数据集上的实验结果证明了该方法的有效性和鲁棒性。
【学位授予单位】：西安电子科技大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP751;TP183


本文编号：2717772