基于MapReduce的空间数据并行划分算法

发布时间：2018-01-30 12:00

  本文关键词： MapReduce Hilbert空间曲线 空间数据并行划分　出处：《测绘通报》2017年11期 　论文类型：期刊论文

【摘要】：针对海量空间数据分布式存储中存在的不顾及空间邻近性、分布不均和数据倾斜的问题,基于MapReduce并行编程模型,对Hilbert空间曲线层次分解的思想和节点容量感知的方法进行了研究,提出了一种层次分解的空间数据并行划分策略,并通过临界值判定实现空间数据的均衡存储。最后通过实例分析说明该方法可以在保证空间数据邻近特性的同时,解决海量空间数据分布式存储不均和数据倾斜的问题。
[Abstract]:In order to solve the problems of spatial proximity, uneven distribution and skew of data in distributed storage of massive spatial data, a parallel programming model based on MapReduce is proposed. In this paper, the idea of hierarchical decomposition of Hilbert spatial curve and the method of node capacity perception are studied, and a parallel partition strategy of spatial data based on hierarchical decomposition is proposed. Finally, through the analysis of an example, the method can guarantee the proximity of spatial data at the same time. To solve the problem of distributed storage and skew of massive spatial data.
【作者单位】： 济南市勘察测绘研究院;中国地质大学(武汉)信息工程学院;北京创时空科技发展有限公司;广东省气象探测数据中心;武汉兆图科技有限公司;
【基金】：国家重点研发计划(2016YFB0502603) 湖北省自然科学基金(ZRY2015001543) 中国地质大学(武汉)中央高校基本科研业务费资金(1610491B20)
【分类号】：P208
【正文快照】： 5.武汉兆图科技有限公司,湖北武汉430070)随着GIS应用的逐步深入和拓展,各行业对GIS海量空间数据的处理能力及效率提出更高要求,分布式GIS及分布式空间数据库应运而生[1]。特别是随着现代测量计算技术的发展,空间数据呈TB和PB级增长,大规模空间数据的分布式处理效率显得尤为重，

本文编号：1476187