面向并行空间连接的两轮映射数据划分方法

发布时间：2018-11-16 12:53

【摘要】：针对数据划分结果高冗余、低均衡可能会增加系统的工作负荷和影响系统的负载均衡这一问题,提出两轮映射数据划分方法.在第一轮映射中,通过充分利用划分对象的空间属性来减少冗余数据,通过合理设置阈值来均衡划分数据;在第二轮映射中,通过动态映射机制,提高划分结果的数据量均衡度.与Oracle Spatial数据划分方法、线性编码轮询调度划分方法以及Hilbert编码轮询调度划分方法进行比较可知,采用两轮映射方法可以有效地控制冗余数据的产生,大幅提高划分结果的数据量均衡度,具备较好的划分效率.
[Abstract]:In view of the problem that high redundancy and low balance of data partition results may increase the workload of the system and affect the load balance of the system, a two-round mapping data partition method is proposed. In the first round of mapping, the redundant data is reduced by making full use of the spatial attributes of the partitioning object, and the partition data is balanced by setting the threshold reasonably. In the second round mapping, the data balance of partition results is improved by dynamic mapping mechanism. Compared with the Oracle Spatial data partition method, the linear coded polling scheduling partition method and the Hilbert coded polling scheduling partition method, the two-wheel mapping method can effectively control the generation of redundant data. The data balance of the partition result is improved greatly, and the partition efficiency is better.
【作者单位】： 武汉大学遥感信息工程学院;地球空间信息技术协同创新中心;中国科学院遥感与数字地球研究所;
【基金】：国家自然科学基金资助项目(41501391)
【分类号】：P208

【相似文献】

相关期刊论文 前5条

1 吴亮;谢忠;陈占龙;马丽娜;;分布式空间分析运算关键技术[J];地球科学(中国地质大学学报);2010年03期

2 齐琳;沈婕;郭立帅;周侗;;面向D-TIN并行构建的动态条带数据划分方法与实验分析[J];地球信息科学学报;2012年01期

3 胡悦;童维勤;龚治勋;;多层快速多极子算法并行实现的数据划分策略[J];计算机应用与软件;2012年02期

4 钟智,苏毅娟,张师超;数据库中的因果规则挖掘[J];广西师范学院学报(自然科学版);2002年04期

5 ;[J];;年期

相关博士学位论文 前1条

1 王鹏;通用多核集群上的并行调优策略研究[D];复旦大学;2011年

相关硕士学位论文 前10条

1 朱振华;基于虚拟化部署的高能效数据库集群设计[D];哈尔滨工业大学;2015年

2 王倩;大图数据启发式划分与管理及在BC-BSP系统中的应用研究[D];东北大学;2014年

3 孙星宇;基于MapReduce的kNN-join算法的研究与设计[D];黑龙江大学;2016年

4 罗浩;分布式环境下Top-K计算问题研究[D];东南大学;2016年

5 卜祥亮;基于并行计算的林地落界数据划分策略研究[D];北京林业大学;2015年

6 张刚;并行数字地形分析数据划分方法研究[D];南京师范大学;2014年

7 黄叶伟;社交网络存储系统中数据划分与复制技术的研究[D];上海交通大学;2013年

8 钱辰;面向DEM点云数据的并行插值数据划分优化方法研究[D];南京师范大学;2013年

9 高峰;基于BSP模型的大图处理系统数据划分模块的设计与实现[D];东北大学;2012年

10 程佳;一种基于Hadoop的RDF数据划分与存储研究[D];南京大学;2013年

，

本文编号：2335564