基于深度学习的高光谱图像空谱超分辨率重建
发布时间：2021-06-13 07:31
高光谱成像技术通常以数十个或数百个波段的形式记录场景的光谱信息,其中每个波段对应于特定狭窄的波长范围。采集到的高光谱图像相比于彩色图像包含更丰富的光谱信息,同时场景的光谱特性已经被证明对多个研究领域有帮助。在传统行业中,高光谱成像技术已经被用于遥感成像,药物检测,矿物勘探等领域。而最近高光谱图像开始应用在许多计算机视觉任务中,例如图像分割,人脸识别,物体跟踪等任务。在传统获取高光谱图像的过程中通常使用二维传感器捕捉三维信息,所以不可避免地要在光谱分辨率和空间或者时间分辨率间做出权衡。例如在捕捉动态场景的光谱信息时,快照式光谱成像技术通过牺牲空间分辨率来换取光谱分辨率,因此高光谱图像空间超分辨率技术经常被用在图像后处理中。此外,由于高光谱成像技术中的硬件系统和重建算法仍然存在高复杂度的问题,随着研究者们提出基于彩色相机的高光谱成像技术,从彩色图像到高光谱图像的重建算法（光谱超分辨率）成为研究关键点。本文旨在探究基于深度学习的光谱重建算法。围绕这一核心,研究内容大体分为光谱超分辨率和高光谱图像空间超分辨率两方面。同时我们也利用高空间分辨率彩色图像与低空间分辨率高光谱图像之间的互补信息,完成...
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：79 页
【学位级别】：硕士
【部分图文】：
图１．２高光谱成像技术中的扫描方式￣??如图１．２?（ａ）所示，摆扫式成像技术每一次只釆集一个像素点上的所有光谱信??息，通过向其他空间两个方向移动釆集场景其他像素点的光谱信息
?第１章绪?论???Ｈｖｐｅｒｃｕｂｃ?（ｒ）?ＲＧＢ?Ｉｍａｇｅ??■＾■＾ＯｒｅｅｎＣＯ）??！ｂ＾！８Ｋ？！ｉｉｉ??ＵＶ?？ＮＩＲ?Ｘ?＾?Ｘ?＾?Ｂ?Ｇ?Ｒ??Ｗａｖｅｌｅｎｇｔｈ）．?Ｗａｖｅｌｅｎｇｔｈ?ｋ??图１．３高光谱图像与彩色图像的对比｜８］??法。这些方法通常使用耦合釆集加计算重构的方法获取高光谱图像。三个有代??表性的工作包括计算层析成像技术（Ｃｏｍｐｕｔｅｄ?Ｔｏｍｏｇｒａｐｈｙ?Ｉｍａｇｉｎｇ?Ｓｐｅｃｔｒｏｍｅｔｅｒ，??ＣＴＩＳ丨５】），棱镜掩模多光谱视频成像系统（Ｐｒｉｓｍ?Ｍａｓｋ?Ｍｕｌｔｉｓｐｅｃｔｒａｌ?Ｖｉｄｅｏ?Ｉｍａｇｉｎｇ??Ｓｙｓｔｅｍ，?ＰＭＶＩＳ［６］），编码光圈光谱成像仪（Ｃｏｄｅｄ?Ａｐｅｒｔｕｒｅ?Ｓｎａｐｓｈｏｔ?Ｓｐｅｃｔｒａｌ?Ｉｍ？??ａｇｅｒ，?ＣＡＳＳＩ［７］）。?这些方法通过构建复杂的重建算法来降低构建高光谱成像系统??的难度，从而提高高光谱图像重建质量。虽然上述几种方式都能得到质量较好的??高光谱图像，但是仍然存在重建算法设计复杂、系统搭建困难、需要牺牲时间或??空间维度来换取光谱维度等缺陷。??最近研究者们开始尝试仅仅利用彩色图像重建得到高光谱图像，彩色图像??与高光谱图像的区别如图１．３所示。相比于彩色图像，高光谱图像包含更多的光??谱信息。与图像超分辨率问题类似，利用彩色图像恢复高光谱图像同样是一个??不适定问题，在降至过程中有大量的光谱信息丢失。研究者们开始基于彩色数??码相机和其他光学元器件设计一个特定的系统。Ｇｏｅｌ．Ｍ等人％在时间多路复用??光源照射的场景下使用彩色数码相机捕捉场景，场景的反射率利用计算方法跨
?第１章绪?论???—??＿?＋?Ｈ＿?讓?＋??ＳＫＬｔ?Ｒｅｃｏｎｓｔｒｕｃｔ???＞??ＨＲＲＣＢ?Ｗｉ?＾??＿＆２?ＨＲ?ＨＳＩ??Ｓｎａｐｓｈｏｔ??ｉｓｍ??图１．４常见的高光谱图像蜇建问题??及基于快照式的光谱重建。高光谱空间超分辨率类似于单张图像的超分辨率任??务，即输入一张低空间分辨率的高光谱图像输出一张高空间分辨率的高光谱图??像。高光谱图像空间超分辨率任务是一个严格的不适定问题，目前解决这个问题??的主流方法是使用基于学习的方法。之前最有代表性的是基于稀疏编码（ｓｐａｒｓｅ??ｃｏｄｉｎｇ）的方法［１２］，它将低空间分辨率高光谱数据和高空间分辨率高光谱数据??作为一个外部数据库来学习两者间的关系，通过这个关系在给定一张新的低空??间分辨率高光谱数据时能够重建出高空间分辨率的高光谱图像。一般训练数据??中的高分辨率高光谱图像可以通过扫描式的光谱仪得到。随着深度学习的成功??兴起，基于卷积神经网络的方法开始取代之前基于字典学习的方法，这种方法直??接学习低空间分辨率和高空间分辨率高光谱图像间的映射关系。Ｌｉ等人Ｍｌ首次??在高光谱空间超分辨率任务中使用卷积神经网络，同时提出一个空间限制，强制??要求高光谱重建图像下釆样得到的低空间分辨率高光谱图像与之前网络的输入??尽可能相似。更进一步，Ｍｅｉ等人提出使用３Ｄ卷积神经网络，这种方法的优??势在于可以同时利用空间场景信息和谱带之间的相关性。??高光谱图像空谱联合超分辨率，顾名思义就是输入一张高空间分辨率的彩色??图像和低空间分辨率的高光谱图像联合重建出高空间分辨率的高光谱图像，这??也可以被认为是一种图像间的融合。高光谱图像
本文编号：3227287
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：79 页
【学位级别】：硕士
【部分图文】：
图１．２高光谱成像技术中的扫描方式￣??如图１．２?（ａ）所示，摆扫式成像技术每一次只釆集一个像素点上的所有光谱信??息，通过向其他空间两个方向移动釆集场景其他像素点的光谱信息
?第１章绪?论???Ｈｖｐｅｒｃｕｂｃ?（ｒ）?ＲＧＢ?Ｉｍａｇｅ??■＾■＾ＯｒｅｅｎＣＯ）??！ｂ＾！８Ｋ？！ｉｉｉ??ＵＶ?？ＮＩＲ?Ｘ?＾?Ｘ?＾?Ｂ?Ｇ?Ｒ??Ｗａｖｅｌｅｎｇｔｈ）．?Ｗａｖｅｌｅｎｇｔｈ?ｋ??图１．３高光谱图像与彩色图像的对比｜８］??法。这些方法通常使用耦合釆集加计算重构的方法获取高光谱图像。三个有代??表性的工作包括计算层析成像技术（Ｃｏｍｐｕｔｅｄ?Ｔｏｍｏｇｒａｐｈｙ?Ｉｍａｇｉｎｇ?Ｓｐｅｃｔｒｏｍｅｔｅｒ，??ＣＴＩＳ丨５】），棱镜掩模多光谱视频成像系统（Ｐｒｉｓｍ?Ｍａｓｋ?Ｍｕｌｔｉｓｐｅｃｔｒａｌ?Ｖｉｄｅｏ?Ｉｍａｇｉｎｇ??Ｓｙｓｔｅｍ，?ＰＭＶＩＳ［６］），编码光圈光谱成像仪（Ｃｏｄｅｄ?Ａｐｅｒｔｕｒｅ?Ｓｎａｐｓｈｏｔ?Ｓｐｅｃｔｒａｌ?Ｉｍ？??ａｇｅｒ，?ＣＡＳＳＩ［７］）。?这些方法通过构建复杂的重建算法来降低构建高光谱成像系统??的难度，从而提高高光谱图像重建质量。虽然上述几种方式都能得到质量较好的??高光谱图像，但是仍然存在重建算法设计复杂、系统搭建困难、需要牺牲时间或??空间维度来换取光谱维度等缺陷。??最近研究者们开始尝试仅仅利用彩色图像重建得到高光谱图像，彩色图像??与高光谱图像的区别如图１．３所示。相比于彩色图像，高光谱图像包含更多的光??谱信息。与图像超分辨率问题类似，利用彩色图像恢复高光谱图像同样是一个??不适定问题，在降至过程中有大量的光谱信息丢失。研究者们开始基于彩色数??码相机和其他光学元器件设计一个特定的系统。Ｇｏｅｌ．Ｍ等人％在时间多路复用??光源照射的场景下使用彩色数码相机捕捉场景，场景的反射率利用计算方法跨
?第１章绪?论???—??＿?＋?Ｈ＿?讓?＋??ＳＫＬｔ?Ｒｅｃｏｎｓｔｒｕｃｔ???＞??ＨＲＲＣＢ?Ｗｉ?＾??＿＆２?ＨＲ?ＨＳＩ??Ｓｎａｐｓｈｏｔ??ｉｓｍ??图１．４常见的高光谱图像蜇建问题??及基于快照式的光谱重建。高光谱空间超分辨率类似于单张图像的超分辨率任??务，即输入一张低空间分辨率的高光谱图像输出一张高空间分辨率的高光谱图??像。高光谱图像空间超分辨率任务是一个严格的不适定问题，目前解决这个问题??的主流方法是使用基于学习的方法。之前最有代表性的是基于稀疏编码（ｓｐａｒｓｅ??ｃｏｄｉｎｇ）的方法［１２］，它将低空间分辨率高光谱数据和高空间分辨率高光谱数据??作为一个外部数据库来学习两者间的关系，通过这个关系在给定一张新的低空??间分辨率高光谱数据时能够重建出高空间分辨率的高光谱图像。一般训练数据??中的高分辨率高光谱图像可以通过扫描式的光谱仪得到。随着深度学习的成功??兴起，基于卷积神经网络的方法开始取代之前基于字典学习的方法，这种方法直??接学习低空间分辨率和高空间分辨率高光谱图像间的映射关系。Ｌｉ等人Ｍｌ首次??在高光谱空间超分辨率任务中使用卷积神经网络，同时提出一个空间限制，强制??要求高光谱重建图像下釆样得到的低空间分辨率高光谱图像与之前网络的输入??尽可能相似。更进一步，Ｍｅｉ等人提出使用３Ｄ卷积神经网络，这种方法的优??势在于可以同时利用空间场景信息和谱带之间的相关性。??高光谱图像空谱联合超分辨率，顾名思义就是输入一张高空间分辨率的彩色??图像和低空间分辨率的高光谱图像联合重建出高空间分辨率的高光谱图像，这??也可以被认为是一种图像间的融合。高光谱图像
本文编号：3227287
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3227287.html
