基于MapReduce的空间敏感性分析并行算法设计

发布时间：2018-01-29 19:49

本文关键词： 遥感参数模型空间敏感性分析 Sobol′ MapReduce　出处：《地球信息科学学报》2014年06期 　论文类型：期刊论文

【摘要】：近年来,随着遥感空间数据广泛应用于生态系统,推动了区域尺度生态遥感参数模型的发展。敏感性分析对识别模型关键参数,降低模型不确定性和完善模型具有重要作用。区域尺度的生态遥感参数模型,在进行模型参数敏感性分析时,由于涉及到空间数据的复杂运算,单机环境无法满足快速分析的要求。为了提高生态遥感参数模型空间敏感性分析效率,本文以青藏高原为研究区域,利用植被光合模型VPM(Vegetation Photosynthesis Model)和开源云计算平台Hadoop,设计和实现了基于Sobol′的生态遥感参数模型空间敏感性分析并行算法,并在实验室集群环境下进行算法分析,验证了算法的有效性和适用性。该算法的核心是利用MapReduce并行编程技术,对空间敏感性分析中的地图抽样和模型迭代过程进行任务分割,将分割后的子任务分配至不同的计算节点进行并行计算。实验表明,本文提出的并行策略,能有效缩短地图抽样和模型迭代计算时间,相比于单机算法,并行算法的运行速度提高了14倍左右。
[Abstract]:In recent years, with the wide application of remote sensing spatial data in ecosystem, the development of regional scale ecological remote sensing parameter model has been promoted. Sensitivity analysis is critical to identify the model parameters. It is very important to reduce the uncertainty of the model and perfect the model. The regional scale model of ecological remote sensing parameters is involved in the complex operation of spatial data in the sensitivity analysis of the model parameters. In order to improve the efficiency of spatial sensitivity analysis of ecological remote sensing parameter model, the Qinghai-Tibet Plateau is taken as the research area in this paper. Using the vegetation photosynthetic model VPM(Vegetation Photosynthesis Model and open source cloud computing platform Hadoop. The parallel algorithm of spatial sensitivity analysis of ecological remote sensing parameter model based on Sobol' is designed and implemented, and the algorithm analysis is carried out under the environment of laboratory cluster. The core of the algorithm is to segment the task of map sampling and model iteration in spatial sensitivity analysis by using MapReduce parallel programming technology. The sub-tasks are assigned to different computing nodes for parallel computation. Experiments show that the proposed parallel strategy can effectively shorten the computation time of map sampling and model iteration, compared with the single-machine algorithm. The running speed of parallel algorithm is increased about 14 times.
【作者单位】：中国科学院地理科学与资源研究所生态系统网络观测与模拟重点实验室;中国科学院大学;
【基金】：科学院先导专项“应对气候变化的碳收支认证及相关问题”(XDA05050600) 国家生态系统观测评估技术系统集成研究与示范(2013BAC03B00) MSR-CNIC Windows Azure合作计划项目“基于Windows Azure的陆地生态系统碳水通量估算与不确定性研究” 国家科技部环保公益性行业科研专项(gyh5031103)
【分类号】：P208;TP338.6
【正文快照】： 1引言生态模型是模拟生态系统结构、功能和变化过程及其调控机理的重要手段,采用数学公式和物理方程对生态现象和生态过程进行简化、抽象,主要包括经验模型、过程模型和遥感参数模型。在实际的建模过程中,观测误差的存在和对机理过程的有限认识使模型参数存在很大的不确定性,

【参考文献】