基于Spark的高光谱图像分布式并行分类

发布时间：2021-08-26 23:51

　　高光谱遥感图像有光谱波段多、光谱分辨率高、成像范围大的特点,包含丰富的空间信息和光谱信息,在地理地貌分析方面有着明显的优势。高光谱遥感图像分类技术是遥感信息解释的重要手段之一,在资源勘探和环境监测等领域有着广泛应用。随着高光谱遥感仪的探测技术的不断提升,高光谱遥感图像的数据量越来越大,如何高效地对海量高光谱图像进行分类处理成为遥感处理领域的一个重要课题。传统的单机计算平台不足以支撑海量高光谱数据的处理要求。而云计算技术具备分布式存储和并行计算的特点,能够有效地解决海量高光谱遥感图像在单机运行环境中的计算瓶颈问题。Spark是一个基于内存的分布式的数据处理框架,是最重要的云计算处理平台之一。Spark的弹性分布式数据集（RDD）拥有丰富的运算算子,并且支持中间任务结果缓存到内存,因此适合于解决海量数据的复杂迭代计算问题。本文基于Spark平台研究了高光谱图像分类算法的分布式并行计算原理,提出了两种高光谱图像分布式并行分类方法。主要工作如下:（一）研究了基于空间相关性约束稀疏表示的高光谱图像分类方法（SCSRC）,并在此基础了提出了 Spark平台上的基于空间相关性约束稀疏表示的高光谱图像... 

【文章来源】：南京理工大学江苏省 211工程院校

【文章页数】：65 页

【学位级别】：硕士

【部分图文】：

图１．１高光谱成像原理［２８】??高光谱图像分类是近年来遥感领域颇受欢迎的应用之一，地物分类结果清晰地反??映地物的空间分布，在遥感地物识别方面有重要的意义

图２．１?Ｓｐａｒｋ核心体系??布式数据集（ＲＤＤ）??用的分布式数据结构是弹性分布式数据集（Ｒｅｓｉｌｉｅｎｔ?Ｄｉｓｔｒｉｂｕｔｅｄ?ＤＤ是对分布于Ｓｐａｒｋ集群中各个计算节点，存储于内存中的数

文件?ＲＤＤ?行动算子?结果??图２．２?ＲＤＤ的操作算子??子ＲＤＤ既可以由一个父ＲＤＤ转换而来，又可以由多个ＲＤＤ转换。子ＲＤＤ与父??ＲＤＤ之间的分区依赖关系分为两类：（１）窄依赖，同一个父ＲＤＤ的一个分区只负责转??换子ＲＤＤ的一个分区；（２）宽依赖，同一个父ＲＤＤ的一个分区负责同时转换成多个子??ＲＤＤ分区。触发计算时会将父ＲＤＤ?（ｓ）的某个分区数据传输到子ＲＤＤ的分区中，如??果是窄依赖，父ＲＤＤ的某个分区会就近在本地节点创建子ＲＤＤ的一个分区；而如果??是宽依赖，父ＲＤＤ的某个分区数据会传输到子ＲＤＤ的多个分区，这些分区不太可能??都在本地节点创建，相反可能跨节点创建并触发数据ｓｈｕｆｆｌｅ，即跨界点数据传输。因??此


本文编号：3365211