多种数据划分方法下D8算法的多核并行化实验对比

发布时间：2018-03-01 22:04

  本文关键词： DEM 数据划分 D算法 多核并行优化　出处：《地理与地理信息科学》2017年02期 　论文类型：期刊论文

【摘要】：对地观测技术的快速发展使空间数据规模迅速增大,海量高分辨率DEM数据使得GIS数字地形分析算法面临日益严重的效率瓶颈,多核并行计算技术是在PC端解决上述问题的潜在途径,而并行任务调度策略、数据划分方法是影响并行算法计算效率的重要因素。该文以河网提取中流向算法D8算法为例,基于OpenMP多核并行编程模型,在最佳任务调度策略下研究按行、列、块进行任务分解对该算法计算效率的影响。实验结果表明,不同数据划分方法对计算效率的影响存在差异。结合dynamic任务调度策略,对该算法采用行划分方法,并调用计算机最大可用线程个数16时并行加速效果最佳,加速比峰值达到13.88;划分块数为16时,运行加速比最高为13.46;按列划分加速比峰值达到12.829;而划分成9块和4块最高加速比仅为7.97和3.83。
[Abstract]:With the rapid development of Earth observation technology, the scale of spatial data increases rapidly, and the massive high-resolution DEM data make the GIS digital terrain analysis algorithm face an increasingly serious efficiency bottleneck. Multi-core parallel computing technology is a potential way to solve the above problems in PC. Parallel task scheduling strategy and data partition method are important factors that affect the efficiency of parallel algorithms. This paper takes the D8 algorithm for river network extraction as an example. Based on the OpenMP multi-core parallel programming model, the effect of task decomposition by row, column and block on the computational efficiency of the algorithm is studied under the optimal task scheduling strategy. The effect of different data partition methods on computing efficiency is different. Combined with the dynamic task scheduling strategy, the row partition method is adopted in this algorithm, and the maximum number of available threads on the computer is obtained by 16:00 parallel acceleration. The peak value of speedup ratio is 13.88, the partition block number is 16:00, the maximum operational speedup ratio is 13.46, the peak value of speedup ratio is 12.829 in column division, and the maximum speedup ratio is only 7.97 and 3.83 in 9 blocks and 4 blocks.
【作者单位】： 山东理工大学建筑工程学院;中国科学院地理科学与资源研究所/资源与环境信息系统国家重点实验室;中国科学院地理科学与资源研究所/生态系统网络观测与模拟院重点实验室;
【基金】：国家自然科学基金项目(41501425) 资源与环境信息系统国家重点实验室开放基金项目 山东理工大学博士科研基金项目(4041-414039);山东理工大学青年教师发展支持计划项目 山东省重点研发计划项目(2016GSF122006) 山东省高等学校科技计划项目(J16LH03)
【分类号】：P208

【相似文献】

相关期刊论文 前5条

1 吴亮;谢忠;陈占龙;马丽娜;;分布式空间分析运算关键技术[J];地球科学(中国地质大学学报);2010年03期

2 齐琳;沈婕;郭立帅;周侗;;面向D-TIN并行构建的动态条带数据划分方法与实验分析[J];地球信息科学学报;2012年01期

3 胡悦;童维勤;龚治勋;;多层快速多极子算法并行实现的数据划分策略[J];计算机应用与软件;2012年02期

4 钟智,苏毅娟,张师超;数据库中的因果规则挖掘[J];广西师范学院学报(自然科学版);2002年04期

5 ;[J];;年期

相关博士学位论文 前1条

1 王鹏;通用多核集群上的并行调优策略研究[D];复旦大学;2011年

相关硕士学位论文 前10条

1 朱振华;基于虚拟化部署的高能效数据库集群设计[D];哈尔滨工业大学;2015年

2 王倩;大图数据启发式划分与管理及在BC-BSP系统中的应用研究[D];东北大学;2014年

3 孙星宇;基于MapReduce的kNN-join算法的研究与设计[D];黑龙江大学;2016年

4 罗浩;分布式环境下Top-K计算问题研究[D];东南大学;2016年

5 卜祥亮;基于并行计算的林地落界数据划分策略研究[D];北京林业大学;2015年

6 张刚;并行数字地形分析数据划分方法研究[D];南京师范大学;2014年

7 黄叶伟;社交网络存储系统中数据划分与复制技术的研究[D];上海交通大学;2013年

8 钱辰;面向DEM点云数据的并行插值数据划分优化方法研究[D];南京师范大学;2013年

9 高峰;基于BSP模型的大图处理系统数据划分模块的设计与实现[D];东北大学;2012年

10 程佳;一种基于Hadoop的RDF数据划分与存储研究[D];南京大学;2013年

，

本文编号：1553761