基于Spark的森林生物量并行反演方法研究

发布时间：2021-09-22 13:21

　　随着全球气候变暖,森林碳储量成为目前十分受关注的问题。森林生物量是估算森林碳储量的重要参数,不仅是碳循环的标志,更是森林生态系统评价的重要指标。森林郁闭度同样作为森林生态资源调查中的主要参数之一,也是碳循环中的重要因子,与生物量有着密切的关系,通过遥感影像反演有效得到郁闭度的值可以更精确的实现生物量的反演。但是随着遥感大数据的发展,遥感影像处理的复杂度和数据量也在增加,因此为了实现遥感影像的高效处理,本文将Spark并行计算框架应用于遥感影像的并行处理中,以帽儿山老山施业区为数据源,提出了基于Spark的并行反演算法,将基于郁闭度的生物量反演模型与之集成完成了生物量的并行反演。本文主要的研究内容如下:（1）针对遥感影像数据量大,在并行反演过程中反复读取、存储数据造成时效性低的问题,本文在遥感影像预处理后建立了遥感影像金字塔。在并行反演过程中,可以直接从金字塔模型中快速提取信息。同时,针对本文数据类型,提出了一种针对遥感影像数据和影像瓦片采用不同数据库分而治之的存储方式。将原始遥感影像和并行反演的处理过程和结果保存在分布式文件系统HDFS中。影像金字塔瓦片的生成和金字塔模型构建过程采用列... 

【文章来源】：东北林业大学黑龙江省 211工程院校 教育部直属院校

【文章页数】：74 页

【学位级别】：硕士

【部分图文】：

图２－４?ｙａｍ－ｃｌｕｓｔｅｒ运行模式??ｙａｍ－ｃｌｉｅｎｔ?模式和?ｙａｍ－ｃｌｕｓｔｅｒ?差别不大，ｙａｍ－ｃｌｉｅｎｔ?的?Ｄｒｉｖｅｒ?运行在?Ｃｌｉｅｎｔ?上

以使用Ｓｐａｒｋ来验证并解决问题。??（５）通用性强??面对多元化、多形式的海量数据，Ｓｐａｒｋ提供了可以用于文件批处理、交互式查询??（Ｓｐａｒｋ?ＳＱＬ）?＿、实时流处理（Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ＿）、机器学习（Ｓｐａｒｋ?ＭＬｌｉｂ）和图计??算（ＳｐａｒｋＧｒａｐｈＸ＾）的并行计算框架。??２．２．２?Ｓｐａｒｋ的生态系统??Ｓｐａｒｋ?ＳＱＬ、Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ、Ｓｐａｒｋ?ＭＬｌｉｂ?和?Ｓｐａｒｋ?ＧｒａｐｈＸ?组成了?Ｓｐａｒｋ?的生态系??统，如图２－５所示。ＡＭＰ?Ｌａｂ将此生态系统命名为大数据分析堆栈。简称为ＢＤＡＳ。??Ｉ?！??ｃ?，?ＭＬｌｉｂ?？?，?ｖ??Ｓｐａｒｋ?ＳＱＬ?＾ａｒ．?（ｍａｃｈｉｎｅ?，?叩?ｉ、??Ｓｔｒｅａｍ，ｎ§?ｌｃａｍｍｇ）?化＿）??Ａｐａｃｈｅ?Ｓｐａｒｋ??ｌ?＇?．．．?．．．．．????：．．．．．．Ｉ??ｆ?本地?）?独立?ｉ?ｊ??运＆模式运行￡式Ｅｅ２?ＭｅｓＧＳ?ＹＡＲＮ??图２－５?Ｓｐａｒｋ的生态系统??－１２－??

Ｄ或者ＲＤＤ的扩展来完成相应的运算的。在Ｓｐａｒｋ中数据处??理的关键点就是如何将数据转化为ＲＤＤ。从逻辑上来看，ＲＤＤ中的每一个分区也对应??着一个相应的ｂｌｏｃｋ。ＲＤＤ的具体操作分为转化（Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）操作和行动（Ａｃｔｉｏｎ）??两种。在进行转化的过程中，就是由一个ＲＤＤ经过执行生成一个新的ＲＤＤ。但是??ＲＤＤ由于惰性，并不会真的被执行，只有当ＲＤＤ执行Ａｃｔｉｏｎ操作的时候，才会触发并??执行。??ＲＤＤ在Ｓｐａｒｋ中的运行流程主要分为以下三步，具体流程如图２－７所示：??ＲＤＤ?Ｏｂｊｅｃｔｓ?ＤＡＧＳｃｈｅｄｕｌｅｒ?ＴａｓｋＳｃｈｅｄｕｌｅｒ?Ｗｏｒｋｅｒ??ＤＡＧ?－ｌａｓｋＳｃｔ；?ｍａｎａｇｅｒ?）??：．．?一．．．．．．．丨一??／?＼?￣?￣??ｒｄｄｌ?．ｊｏｉｎ（ｒｄｄ２）??ｇｒｏｕｐＢｙ（?）?ｓｐｌｉｔ?ｇｒａｐｈ?ｉｎｔｏ?ｌａｕｎｃｈ?ｔａｓｋｓ?ｖｉａ?ｅｘｅｃｕｔｅ?ｔａｓｋｓ??ｑ?ｓｔａｇｅｓ?ｏｆ?ｔａｓｋｓ?ｃｌｕｓｔｅｒ?ｍａｎａｇｅｒ??ｓｕｂｍｉｔ?ｅａｃｈ?ｒｅｔｒｙ?ｆａｉｌｅｄ?ｏｒ?ｓｔｏｒｅ?ａｎｄ?ｓｅｒｖｅ??ｓｔａｇｅ?ａｓ?ｒｅａｄｙ?ｓｔｒａｇｇｌｉｎｇ?ｔａｓｋｓ?ｂｌｏｃｋｓ??ａｇｎｏｓｔｉｃ?ｔｏ?ｓｔａｇｅ?ｄｏｅｓｎ＇ｔ?ｋｎｏｗ??ｏｐｅｒａｔｏｒｓ！?ｆａｉｌｅｄ?ａｂｏｕｔ?ｓｔａｇｅｓ??图２－７?ＲＤＤ在Ｓｐａｒｋ中的运行流程??（１）创建ＲＤＤ是Ｓｐａｒｋ处理数据时的第一步。ＲＤＤ的创建方式主要有通过Ｓｃａｌａ??并行化集合创建、从内存中直接构造和从ＨＤＦＳ等分布


本文编号：3403825