基于Hadoop的VGI矢量空间数据管理方法研究

发布时间：2017-04-14 11:18

  本文关键词：基于Hadoop的VGI矢量空间数据管理方法研究，由笔耕文化传播整理发布。

【摘要】：随着移动智能终端的迅速普及,用户在移动端产生了大量的地理数据,基于关系数据库的管理方法在管理无限增长的VGI(Volunteered Geographic Information)海量数据方面力有未逮,且无法满足WEB2.0环境下高并发访问的需要。目前的研究在不断增长的VGI数据管理、高并发方面涉及较少。面向新型硬件架构的VGI数据管理、分析和应用方面的研究正成为地学领域的热点之一。VGI数据量增长迅速,如何利用以Hadoop为代表的云平台来简单、高效的管理不断增加的VGI数据是一个亟待研究的课题。本文围绕此课题进行研究,主要研究内容包括以下三个方面： 1)基于Hadoop的VGI矢量空间数据组织 面向VGI应用环境下对空间数据组织的需求,分析VGI空间数据的数据结构,设计基于Hadoop的VGI数据存储方案,以及对应的矢量空间数据模型。 2)基于Hadoop的VGI矢量空间数据管理 常见的VGI数据管理方法包括数据压缩方法、多级空间索引机制、性能优化策略和系统可靠性机制等。本文根据VGI矢量空间数据的特点,构建了HilbertR树索引,以及在此基础之上的多级空间索引。在数据压缩方面,使用HBase本身支持的Snappy压缩算法,达到了很好的效果。此外,深入研究了Hadoop的可靠性策略和性能优化策略,并根据实际应用的特点,对相应的配置参数提出建议。 3)基于Hadoop的VGI矢量空间数据管理系统设计与实现 分析VGI数据管理平台的功能需求,利用开源云存储平台Hadoop,研究VGI矢量空间数据云存储平台的实现方法,包括数据管理模块,增量数据管理模块以及数据查询管理模块,部署基于Linux PC集群的分布式环境,完成基于开源云计算平台Hadoop的VGI矢量空间数据管理的原型系统的开发实现,并使用OSM实例数据进行了验证。 综上所述,论文对基于Hadoop进行VGI矢量空间数据的管理方法进行了设计和实现,对所提出的VGI矢量空间数据的多级空间索引方法、数据存储模型等进行了实例验证,研究表明,论文基于Hadoop云平台提出的VGI数据存储模型能够满足主流VGI数据的存储需要,多级空间索引的构建能够满足数据的空间检索需求。
【关键词】：VGI Hadoop 矢量空间数据 HilbertR树
【学位授予单位】：南京师范大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：P208
【目录】：

• 摘要5-6
• Abstract6-12
• 第一章 绪论12-20
• 1.1 研究背景与意义12-13
• 1.1.1 选题背景12-13
• 1.1.2 研究意义13
• 1.2 国内外研究现状13-16
• 1.2.1 VGI数据研究现状13-14
• 1.2.2 矢量空间数据管理14
• 1.2.3 Hadoop的发展与应用现状14-15
• 1.2.4 结论15-16
• 1.3 研究目标、内容和拟解决的关键问题16-17
• 1.3.1 研究目标16
• 1.3.2 研究内容16-17
• 1.3.3 拟解决的关键问题17
• 1.4 研究方法和技术路线17-18
• 1.4.1 研究方法17
• 1.4.2 技术路线17-18
• 1.5 论文的组织结构18-19
• 1.6 本章小结19-20
• 第二章 分布式计算平台Hadoop20-31
• 2.1 Hadoop概述20-21
• 2.2 分布式文件系统HDFS21-24
• 2.2.1 HDFS的优势21-22
• 2.2.2 HDFS的体系结构22-23
• 2.2.3 HDFS的数据读写23-24
• 2.3 分布式数据库HBase24-29
• 2.3.1 HBase数据模型24-26
• 2.3.2 HBase的体系结构26-29
• 2.4 协调服务ZooKeeper29-30
• 2.4.1 ZooKeeper的设计目标29-30
• 2.4.2 ZooKeeper的作用30
• 2.5 本章小结30-31
• 第三章 基于Hadoop的VGI矢量空间数据的组织方式31-45
• 3.1 VGI空间数据特点和类型31-37
• 3.1.1 VGI空间数据的特点31-32
• 3.1.2 VGI数据类型32-37
• 3.2 VGI应用场景下数据组织的需求37
• 3.3 VGI矢量空间数据模型37-43
• 3.3.1 概念模型38
• 3.3.2 逻辑模型38-43
• 3.4 增量数据组织方式43-44
• 3.5 本章小结44-45
• 第四章 基于Hadoop的VGI矢量空间数据的管理方法45-57
• 4.1 VGI矢量空间数据的空间索引45-53
• 4.1.1 主要空间索引方法45-46
• 4.1.2 R树索引46-51
• 4.1.3 多级空间索引51-53
• 4.2 HBase压缩53-54
• 4.3 可靠性策略54-55
• 4.4 性能优化策略55-56
• 4.5 本章小结56-57
• 第五章 基于Hadoop的VGI矢量空间数据管理系统的设计与实现57-71
• 5.1 系统需求分析57-59
• 5.1.1 数据需求分析57-58
• 5.1.2 功能需求分析58-59
• 5.1.3 性能需求分析59
• 5.2 系统设计方案59-67
• 5.2.1 系统建设目标59
• 5.2.2 开发语言的选择59-60
• 5.2.3 软件平台的选择60
• 5.2.4 技术路线60-61
• 5.2.5 Hadoop集群环境61-62
• 5.2.6 系统功能模块设计62-67
• 5.3 系统实现与验证67-70
• 5.3.1 查询结果67-69
• 5.3.2 查询效率分析69-70
• 5.4 本章小结70-71
• 第六章 结论与展望71-73
• 6.1 研究工作与成果71-72
• 6.2 研究结论72
• 6.3 研究展望72-73
• 参考文献73-78
• 致谢78

【参考文献】

中国期刊全文数据库 前10条

1 阎超德,赵学胜;GIS空间索引方法述评[J];地理与地理信息科学;2004年04期

2 林立宇;陈云海;;基于云计算的电子商务推荐平台的构建分析[J];广东通信技术;2010年11期

3 范建永;龙明;熊伟;;基于HBase的矢量空间数据分布式存储研究[J];地理与地理信息科学;2012年05期

4 崔朝国;刘志明;李婧;陈晓凡;;一种基于Hadoop的Scool云存储平台[J];电脑知识与技术;2013年02期

5 刘爱丽;宋伟东;孙贵博;;一种自发地理信息采集方法研究[J];测绘科学;2013年02期

6 何小苑;闵华清;;基于聚类的Hilbert R-树空间索引算法[J];计算机工程;2009年09期

7 陆锋,周成虎;一种基于Hilbert排列码的GIS空间索引方法[J];计算机辅助设计与图形学学报;2001年05期

8 胡久乡,何松,钟瑜;空间数据库网格索引机制的最优划分[J];计算机学报;2002年11期

9 蔡浴泓;孙蕾;;基于R树的空间数据索引技术的探索[J];计算机应用与软件;2008年12期

10 尹芳;冯敏;诸云强;刘睿;;基于开源Hadoop的矢量空间数据分布式处理研究[J];计算机工程与应用;2013年16期

中国博士学位论文全文数据库 前1条

1 钱新林;面向自发地理信息的空间数据表达与管理方法研究[D];武汉大学;2011年

  本文关键词：基于Hadoop的VGI矢量空间数据管理方法研究，由笔耕文化传播整理发布。

，

本文编号：305891