并行处理技术在全球海量地理信息数据质量控制中的应用

发布时间：2022-02-15 14:11

　　针对全球海量地理信息数据成果数据量大、数据类型丰富、质量检查内容多的特点,本文将分布式并行计算技术、多线程技术应用到地理信息数据质量控制体系中,基于MapReduce框架实现了多源多时相海量数据并行质量控制,把算法结构由一个周期执行一个操作改造为一个周期执行多个操作的并行处理,从根本上解决重复操作多、计算慢的质量检查难题。选取核心矢量要素、DOM成果、DEM成果作为典型数据案例开展效率对比试验。试验结果表明,该技术方案的处理效率比传统技术方案提高2～3倍,有效地压缩了任务执行时间,节约了任务执行成本,实现了对海量地理信息数据的快速质量控制,保障了全球地理信息数据的成果质量。 

【文章来源】：测绘通报. 2020,(07)北大核心CSCD

【文章页数】：5 页

【部分图文】：

图1 分布式并行计算框架技术

Torque支持多任务批处理、多种作业调度策略，实现对多任务批处理的初始化和调度执行的控制，其独立调度模块允许系统管理员定义资源和每个任务可使用的数量，实时监控排队任务、运行任务和系统资源使用状况。Torque由4部分组成，分别是PBS用户命令、PBS服务(pbs＿server)、PBS执行(pbs＿mom)和PBS调度(pbs＿sched)。如图2所示。(1)PBS用户命令主要用于用户递交、查询、队列管理和删除多任务批处理质检任务。

(1)质检任务调度模块负责获取质检任务的处理请求，并将接收到的处理请求加入质检任务等待队列，对质检任务等待队列实时监控，发现处理请求后依据先进先出的原则选择任务执行，并依据任务调度策略为该任务分配质检任务进程。主要包括质检任务等待缓冲区和调度控制单元两个工作单元。(2)质检任务线程模块负责创建质检任务线程及其线程索引表，按照预设的线程容量创建相应数量的质检线程，同时为每个质检线程开辟与之对应的任务等待队列，线程执行过程中实时监控该等待队列，获取相关任务参数完成数据计算以及数据显示等操作。主要包括线程索引表和工作线程两个工作单元。

【参考文献】：
期刊论文
[1]时空大数据背景下并行数据处理分析挖掘的进展及趋势[J]. 关雪峰,曾宇媚.  地理科学进展. 2018(10)
[2]基于MapReduce的空间数据并行划分算法[J]. 付艳丽,吴艳民,张金标,郑坤,赵长虹,郑康,方发林.  测绘通报. 2017(11)
[3]MapReduce并行编程模型研究综述[J]. 杜江,张铮,张杰鑫,邰铭.  计算机科学. 2015(S1)
[4]基于线程池的多任务并行处理模型[J]. 高翔,张金登.  指挥信息系统与技术. 2012(04)
[5]MapReduce并行编程模型研究综述[J]. 李建江,崔健,王聃,严林,黄义双.  电子学报. 2011(11)
[6]GIS数据质量控制的分析研究[J]. 宗刚军.  西安科技大学学报. 2009(05)
[7]基于SMP集群的MPI+OpenMP混合编程模型及有效实现[J]. 赵永华,迟学斌.  微电子学与计算机. 2005(10)

硕士论文
[1]基于MapRedcue的大规模栅格数据空间分析算法并行化研究[D]. 杨文奇.江西理工大学 2013
[2]基于MapReduce模型的生态遥感参数反演并行化方法与实现[D]. 付天新.兰州交通大学 2012



本文编号：3626769