云计算环境下大GML空间数据并行存取关键技术研究

发布时间：2017-05-29 21:05

  本文关键词：云计算环境下大GML空间数据并行存取关键技术研究，，由笔耕文化传播整理发布。

【摘要】：随着对地观测、移动GIS、互联网、物联网等技术的成熟以及GML使用领域不断拓展,GML空间数据正在井喷式增长,其数据量正在从GB级跃升至PB乃至EB级,大GML数据时代正在来临。而传统空间数据库的计算及I/O能力难以满足大GML数据所需的高性能处理需求。近几年流行的云计算技术拥有超大规模、高可扩展性、高可靠性和通用性等特点;同时No SQL在大数据背景下朝气蓬勃,它是同时支持结构化和半结构化数据存储的一种非关系型分布式数据库。因此,云计算技术和No SQL技术为半结构化大GM空间数据的并行存取问题赋予了全新的解决途径。本文利用开源云计算平台Hadoop以及分布式数据库HBase研究了大GML空间数据在分布式计算环境下并行存取的关键技术。主要借助Hadoop平台及HBase等软件对大GML空间数据的存储与查询做了以下几点研究。(1)分析现有空间数据划分算法,结合传统GML存储管理思想和GML数据所拥有的特点,兼顾地理要素几何以及拓扑关系等的完整性,研究适合云计算平台下大GML空间数据动态划分算法策略。(2)结合现有云计算技术及No SQL技术,设计了适合在HBase中存储GML空间数据的一种存储模型;分析Hadoop的分布式文件系统架构及其数据副本的放置策略,改进HDFS默认数据副本放置方法,并对分布式文件系统进行扩展使其能够确保地理要素的几何完整性。(3)深入研究传统空间数据索引机制,综合并行空间索引算法和GML空间数据划分算法,基于四叉树和R树索引机制设计了一种适合GML空间数据的两级并行空间索引结构。(4)分析GML数据所具有的特点以及Map Reduce并行计算模型;并结合HBase数据库与传统空间数据库的查询优化技术;然后综合考虑GML数据分布式存储时采用的划分策略,研究云平台下适合大GML空间数据并行查询算法及策略。最后,通过实验测试并对其性能及效率进行分析,得出本文设计的GML空间数据划分算法、存储模型、并行索引机制和查询算法都具有良好的性能。
【关键词】：云计算 GML Hadoop 数据块 HBase 空间索引
【学位授予单位】：江西理工大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13;P208
【目录】：

• 摘要4-5
• Abstract5-8
• 第一章 绪论8-13
• 1.1 课题研究目的及意义8-9
• 1.2 国内外研究现状9-11
• 1.2.1 国外云计算在GIS领域的研究现状9-10
• 1.2.2 国内云计算在GIS领域的研究现状10
• 1.2.3 国内外GML空间数据存储管理研究现状10-11
• 1.3 论文研究内容及组织结构11-13
• 1.3.1 论文研究内容11-12
• 1.3.2 论文组织结构12-13
• 第二章 云计算平台相关技术与GML概述13-23
• 2.1 云计算的发展及相关技术13-14
• 2.1.1 云计算的发展状况13
• 2.1.2 云计算关键技术13-14
• 2.2 云计算平台Hadoop简介14-19
• 2.2.1 Hadoop概述14
• 2.2.2 Hadoop体系结构14-16
• 2.2.3 HBase体系结构与数据模型16-19
• 2.2.3.1 HBase体系结构16-18
• 2.2.3.2 HBase数据模型18-19
• 2.3 GML概述19-23
• 2.3.1 GML简介19-20
• 2.3.2 GML主要模型20-21
• 2.3.3 GML空间数据特征21-22
• 2.3.4 GML数据解析22-23
• 第三章 云计算环境下大GML空间数据划分与索引机制23-36
• 3.1 空间数据划分23-26
• 3.1.1 空间数据划分概述23-24
• 3.1.2 Hilbert空间填充曲线24-25
• 3.1.3 Hilbert空间排列码25-26
• 3.2 GML空间数据划分策略26-30
• 3.3 并行空间索引机制30-36
• 3.3.1 四叉树索引30-31
• 3.3.2 R-Tree空间索引31-32
• 3.3.3 GML并行空间索引设计32-36
• 第四章 云计算环境下大GML空间数据存储与并行查询36-46
• 4.1 GML空间数据存储模型36-41
• 4.1.1 GML空间数据存储粒度选择36-37
• 4.1.2 基于HBase的GML空间数据存储模型设计37-41
• 4.2 HDFS文件系统下大GML空间数据副本放置策略41-43
• 4.2.1 HDFS默认数据副本放置策略简介41
• 4.2.2 GML空间数据块及其副本的放置策略设计41-43
• 4.3 Hadoop环境下大GML空间数据分布式存储流程43-44
• 4.4 分布式环境下GML并行查询44-46
• 第五章 基于Hadoop的大GML空间数据并行存取实现及测试46-54
• 5.1 Hadoop分布式环境部署46-49
• 5.2 Hadoop环境下的GML数据并行存储实现49-52
• 5.2.1 GML空间数据划分存储实现49-50
• 5.2.2 改进的数据块副本放置策略实现50-52
• 5.3 实验结果及分析52-54
• 5.3.1 GML并行存储性能测试52-53
• 5.3.2 GML并行查询性能测试53-54
• 第六章 总结与展望54-56
• 6.1 总结54
• 6.2 展望54-56
• 参考文献56-59
• 致谢59-60
• 攻读学位期间的研究成果60-61

【参考文献】

中国期刊全文数据库 前1条

1 孟令奎;黄长青;赵春宇;林志勇;;一种面向并行空间数据库的数据划分算法研究(英文)[J];Geo-Spatial Information Science;2007年04期

  本文关键词：云计算环境下大GML空间数据并行存取关键技术研究，由笔耕文化传播整理发布。

本文编号：405670