基于云计算的土地利用矢量数据高效处理技术研究

发布时间：2017-06-05 12:10

  本文关键词：基于云计算的土地利用矢量数据高效处理技术研究，由笔耕文化传播整理发布。

【摘要】：土地利用矢量数据是土地调查产生的成果数据,是土地利用状况分析评价的数据基础,也是国土资源部门把握土地利用情况的重要依据。当前,全国大部分省级土地利用现状管理系统采用关系型数据库与ArcSDE协同管理空间数据,如Oracle+ArcSDE、SQL Server+ArcSDE等方式,上述方法中土地利用矢量数据存储在单台服务器上,极大的限制了数据的安全性和计算能力。随着土地调查的深入,我国各省份土地利用矢量数据不断增加,传统的数据管理方法已不能满足土地利用矢量数据存储、管理的需求,也严重制约了土地利用矢量数据的分析和处理效率。为了提高土地利用矢量数据的管理与计算效率,本文在研究云计算技术与现有的土地利用矢量数据特点的基础上,对云环境下的土地利用矢量数据的存储与计算进行了深入的研究,本文主要研究内容有以下几点：1.设计了云环境下的省级土地利用矢量数据组织方法,即按县级行政区分层存储,并将县级行政区边界存储到文件中,以便于进行跨县的空间操作。对于土地利用矢量数据的存储,本文采用遵循WKT标准的TSV格式,将属性数据与空间数据存储在同一个文件中。2.研究了云环境下的土地利用矢量数据并行导入方法,通过Sqoop与基于GDAL开发的数据并行导入工具协同运行的方式,实现从关系型数据库、S hapefile、 MDB等数据源中并行导入数据。3.研究了云环境下的土地利用矢量数据四叉树索引的批量并行创建方法,以提高空间索引创建的效率。4.设计了一套基于Spark技术对存储在HDFS上的土地利用矢量数据进行空间查询、属性统计以及空间叠加分析的一体化解决方案。最后,在研究内容基础上,开发了云计算支持下的浙江省省级土地利用现状管理实验系统,并与原来基于Oracle和ArcSDE管理土地利用矢量数据的系统进行了性能对比。结果表明,基于Spark的土地利用现状管理实验系统更适合对海量土地利用矢量数据的管理和分析。
【关键词】：云计算 矢量数据 Spark 土地利用
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：P208;P209
【目录】：

• 致谢5-6
• 摘要6-7
• Abstract7-11
• 1 绪论11-20
• 1.1 研究背景11-12
• 1.2 研究意义12-13
• 1.3 研究现状13-17
• 1.3.1 土地利用数据库研究现状13-14
• 1.3.2 云计算技术在空间数据领域的应用14-17
• 1.4 研究内容17-18
• 1.5 研究路线与章节安排18-20
• 2 云环境下的土地利用矢量数据组织与存储20-34
• 2.1 土地利用矢量数据云存储文件系统20-24
• 2.2 土地利用矢量数据结构与组织方式24-31
• 2.2.1 土地利用矢量数据结构24-26
• 2.2.2 云环境下的土地利用矢量数据模型26-28
• 2.2.3 土地利用矢量数据组织28-31
• 2.3 土地利用矢量数据云存储的实现31-33
• 2.4 本章小结33-34
• 3 云环境下的土地利用矢量数据并行化处理方法34-52
• 3.1 土地利用矢量数据并行计算引擎34-37
• 3.2 云环境下的土地利用矢量数据并行导入技术37-40
• 3.2.1 土地利用矢量数据导入工具——Sqoop37-39
• 3.2.2 土地利用矢量数据并行导入工具39-40
• 3.3 云环境下的土地利用矢量数据空间索引批量并行构建方法40-44
• 3.3.1 四叉树索引40-42
• 3.3.2 Spark批量并行创建四叉树索引42-44
• 3.4 环境下的土地利用矢量数据高效处理技术44-51
• 3.4.1 云环境下的土地利用矢量数据空间查询44-46
• 3.4.2 云环境下的土地利用矢量数据属性统计46-49
• 3.4.3 云环境下的土地利用矢量数据叠加分析49-51
• 3.5 本章小结51-52
• 4 云计算支持下的浙江省省级土地利用现状管理实验系统52-61
• 4.1 系统架构52-53
• 4.2 系统运行环境53-54
• 4.2.1 硬件环境53
• 4.2.2 软件环境53-54
• 4.3 系统运行示例54-56
• 4.3.1 数据浏览54
• 4.3.2 数据管理54-55
• 4.3.3 节点监控55-56
• 4.4 实验结果及分析56-59
• 4.4.1 空间查询56-57
• 4.4.2 统计汇总57-58
• 4.4.3 图层叠加分析58-59
• 4.5 本章小结59-61
• 5 结论与展望61-64
• 5.1 工作总结61-62
• 5.2 研究特色62-63
• 5.3 展望63-64
• 参考文献64-68
• 作者简介68

【参考文献】

中国期刊全文数据库 前10条

1 万奇灵;侯方国;;基于ArcGIS的大比例尺土地调查数据库建库设计[J];安徽农学通报;2007年16期

2 程瑶;刘耀林;;石景山区土地利用数据库的设计与实现[J];测绘科学;2012年02期

3 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期

4 刘旭辉;韩冀中;贺劲;韩承德;;基于集群系统的空间数据并行处理策略研究[J];高技术通讯;2009年10期

5 陈崇成;林剑峰;吴小竹;巫建伟;连惠群;;基于NoSQL的海量空间数据云存储与服务方法[J];地球信息科学学报;2013年02期

6 张定祥;陈宏磊;季宏伟;李士江;付强;;全国土地利用格网数据生产技术方法探讨[J];国土资源信息化;2014年02期

7 屈红刚,潘懋,王勇,胡金星;设计模式在GIS软件开发中的应用研究[J];计算机工程与应用;2003年25期

8 栾亚建;黄烂，

本文编号：423697