一种大规模空间数据流式并行处理方法研究

发布时间：2017-06-19 10:14

  本文关键词：一种大规模空间数据流式并行处理方法研究，由笔耕文化传播整理发布。

【摘要】：针对空间数据的读写(I/O)时间占比过高问题,文章提出一种流式并行化方法:通过将空间计算过程与数据I/O过程相重叠,使传统并行空间计算方法中的性能提升瓶颈得到显著缓解;并且,方法所采用的数据分片策略,能够使数据单次I/O所产生的高内存使用率得到降低,进一步提高了具体地学算法的适用性。最后以地理国情普查基本统计分析中地表面积计算为例进行验证,结果表明:该算法的计算效率与内存使用率相对于直接并行方法均获得明显改善,且空间数据流式并行处理方法与具体地学算法耦合度低。该方法已成功应用于多个其他统计分析算法中。
【作者单位】： 中国测绘科学研究院;东北大学;
【关键词】： 流式并行方法 大规模空间数据处理 空间计算 I/O过程 地表面积
【基金】：测绘地理信息公益性行业科研专项经费项目(201512032) 国家863计划项目(2011AA20302) 国家自然科学基金重点项目(40930104) 辽宁省自然科学基金资助项目(2015020581)
【分类号】：P208
【正文快照】： 0引言地理计算是地理信息科学核心内容之一,其主要研究包括地理信息处理与管理、地理数据挖掘、地理过程建模模拟以及支持这些处理与分析的软件工程和计算体系等。地理计算概念创始人Stan Openshaw认为,地理计算是利用高性能计算技术来解决当前无法解决、甚至未知的空间问题,

【共引文献】

中国期刊全文数据库 前2条

1 赵斯思;周成虎;;GPU加速的多边形叠加分析[J];地理科学进展;2013年01期

2 戴健;丁治明;;基于MapReduce快速kNN Join方法[J];计算机学报;2015年01期

中国博士学位论文全文数据库 前1条

1 张得天;时间依赖路网高效k最近邻查询混搭机制的研究[D];中国科学技术大学;2014年

中国硕士学位论文全文数据库 前1条

1 段安利;空间拓扑分析操作的并行处理技术研究[D];南京航空航天大学;2009年

  本文关键词：一种大规模空间数据流式并行处理方法研究，，由笔耕文化传播整理发布。

本文编号：462225