基于深度学习的高光谱图像超分辨处理方法研究

发布时间：2020-05-22 22:06

【摘要】：高光谱成像技术把传统的二维成像技术和光谱技术进行有机地结合,从而获得三维的高光谱图像。高光谱图像光谱分辨率高,对于空间上任意一点能通过它所对应的连续且精细的光谱曲线来反演出该点所对应的物质,从而同时获取目标的空间属性和物质属性,已经被广泛应用于农作物估产、矿物勘探、军事目标检测与识别、环境灾害监测等军用和民用研究领域中。但是,受限于高光谱图像的成像设备以及复杂的成像环境,高光谱图像的空间分辨率还比较低,无法满足解混、分类、检测等应用需求,这使得高光谱图像的应用受到了限制。深入研究高光谱图像的数据特性,对高光谱图像进行空间分辨率的提升处理,是高光谱图像准确解译和广泛应用的重要前提。因而,如何对高光谱图像进行快速准确的超分辨处理,同时保持高光谱图像的光谱特性,使得地物在原始图像中的光谱可分离性经超分辨处理后仍然保持不变,即在超分辨处理后的高光谱图像中仍然具有分离性,以不影响高光谱图像的判读和分类等后续处理,值得受到人们的密切关注。本文围绕如何在高光谱图像超分辨处理的同时保持好光谱信息这一问题展开研究工作,通过深入分析高光谱图像的数据特性,探索能够实现快速高光谱图像超分辨处理的有效算法,并在合成和真实的高光谱数据上均进行了算法性能验证。具体工作概括如下:1.高光谱图像的光谱信息是由每个像元所提供的数十至数百个窄波段所组成的一条完整而连续的光谱向量。对于向量而言,它所携带的信息为模的大小和方向。因此,在高光谱图像超分辨重建的过程中,可以通过保持相邻波段之间的相对关系,从而保持光谱信息。卷积神经网络能够通过多个隐含层很好地表征训练数据和标签之间的非线性映射关系。因此,本文提出了基于卷积神经网络的高光谱图像超分辨算法。其基本思想是利用卷积神经网络学习低分辨高光谱图像光谱差与对应高分辨高光谱图像光谱差之间的映射关系,从而将这种映射关系泛化应用于输入的低分辨高光谱图像,得到对应的高分辨光谱差,以指导输入图像的超分辨重建过程。此外,通过对利用光谱差重构后的图像进行空间约束,即要求重构后图像生成的低分辨高光谱图像在空间上接近于输入的低分辨高光谱图像,使得整个过程成为一个由低分辨高光谱图像生成高分辨高光谱图像,再回到低分辨高光谱图像的闭合循环系统,这一创新设计进一步提升了算法的超分辨性能。实验结果表明,基于卷积神经网络的高光谱图像超分辨方法在提升输入图像空间信息的同时,能很好地保持光谱信息。2.从一维的光谱向量角度出发,通过保证光谱相邻波段间的相对关系能够很好地保持光谱信息,光谱维重构过程的起点选择不影响光谱信息本身。但是,从高光谱图像的空间维出发,光谱起点的选择将给空间上的信息重构带来影响,并造成空间错误传播的问题,本文提出了一种基于深度学习得到的光谱差和空间错误自纠正模型的高光谱图像超分辨方法。其基本思想是首先选取一个关键波段,这个关键波段相较于其他波段,超分辨难度最小,即超分辨后的这个波段最接近于参考波段,从而为其余波段的超分辨过程在空间上提供一个精确的起点。更进一步,针对得到的光谱差和真实的光谱差在空间上可能存在误差,随着波段序号远离关键波段,直接依赖于光谱差进行超分辨重建后的高光谱图和参考图之间的差值在不断累积的问题,本文同时提出了一个空间错误自纠正模型,给得到的的光谱差乘上一个常数,从而在不影响光谱向量的情况下,纠正重构过程中空间错误传播的问题。实验结果表明,该空间错误自纠正模型在合成的高光谱图像和真实的高光谱图像上均能取得很好的超分辨重建效果。3.受限于较高的获取成本,现有的高光谱图像数量还不是很多,主流方法以三维图像数据作为训练输入限制了基于深度学习的高光谱应用的性能。对于高光谱图像而言,空间上每一个像素点都对应于一条光谱曲线,一张高光谱图像通常包含几十万甚至上百万的光谱曲线,以光谱曲线作为训练数据的卷积神经网络能够避免因数据量不足而引起的网络性能受限问题。因此,本文提出了一种基于一维光谱映射卷积神经网络和非负矩阵分解的高光谱图像超分辨方法。首先,我们将高光谱图像中的波段按一定的间隔进行选择,并且对这些选中的波段进行超分辨处理,其余的波段则通过插值操作进行初始化,得到一个完整的高光谱图像。这个高光谱图像空间上的每一个像素点都对应于一条初始状态的光谱向量。与此同时,一维的光谱映射卷积神经网络用来训练初始光谱向量与期望光谱向量之间的映射关系。依赖于训练好的光谱映射卷积神经网络,对高光谱图像进行光谱纠正,以得到一个高分辨的高光谱图像。另外,为了充分利用输入图像所携带的信息,将输入的低分辨高光谱图像与经光谱映射卷积神经网络纠正后的高分辨高光谱图像通过非负矩阵分解进行融合,从而得到一个信息更为丰富的高分辨高光谱图像。实验结果和数据分析表明,本文提出的方法在空间信息的提升和光谱信息的保持方面均有不错的效果。
【学位授予单位】：西安电子科技大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP391.41;TP183

【参考文献】