面向海量空间数据并行高效处理的存储模式设计与研究

发布时间：2017-03-22 09:01

  本文关键词：面向海量空间数据并行高效处理的存储模式设计与研究，，由笔耕文化传播整理发布。

【摘要】：随着现代地理空间信息技术的快速发展,带来了空间数据集规模的急剧膨胀。面对如此海量和复杂的空间数据集,迫切需要一种能够对其进行高效的组织、存储、处理与管理的技术解决方案。Hadoop提供了海量的数据存储能力和支持并行计算的编程模型,为实现海量空间数据的存储与计算一体化提供强大的平台支持。本文基于开源Hadoop软件框架对海量空间数据的高效存储管理开展了以下研究:(1)深入分析了当前海量空间数据的存储管理方法,总结了每种方法的优缺点,为下一步研究提供坚实的理论依据。详细介绍了Hadoop架构体系的三大核心技术,分布式文件系统HDFS,并行编程模型MapReduce和分布式数据库HBase。(2)深入研究了HDFS的文件存储机制,结合简单矢量数据结构,设计了适合在HDFS中存储矢量数据的存储模式,在此基础上实现最基本的矢量空间操作。针对传统射线法不适合批量点包含判断的问题,同时为避免射线法的大量求交运算,对射线法进行改进,并通过MapReduce并行编程模型加以实现。最后,利用分布式数据库HBase管理经MapReduce编程模型处理输出的矢量数据。(3)通过比较现有Hadoop小文件存储解决方法,设计了一种基于MapFile序列文件技术的海量栅格数据存储模式,实现海量栅格数据在HDFS的高效存储,并利用HBase数据库表管理海量栅格数据,提高了海量栅格数据的存储与读写效率。为实现图像的并行聚类,通过MapReduce编程模型对K均值聚类算法进行并行化设计,缩短了聚类时间。(4)搭建Hadoop计算平台,开展了基于分布式集群的海量点包含性测试、海量栅格数据存储性能测试、图像聚类等实验,证明本文设计的存储模式能够为海量空间数据的高效处理提供支持。
【关键词】：海量空间数据 Hadoop 集群 并行计算 K均值
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：P208;P209
【目录】：

• 摘要5-6
• ABSTRACT6-9
• 第一章 绪论9-14
• 1.1 研究背景及意义9-10
• 1.2 国内外研究现状10-12
• 1.3 论文研究内容12
• 1.4 论文总体结构12-14
• 第二章 Hadoop总体架构分析14-30
• 2.1 分布式文件系统HDFS14-19
• 2.1.1 HDFS设计目标14-15
• 2.1.2 HDFS的体系结构分析15-16
• 2.1.3 HDFS可靠性机制16-19
• 2.2 并行编程模型MapReduce19-22
• 2.2.1 MapReduce函数设计19-20
• 2.2.2 MapReduce体系结构20-21
• 2.2.3 MapReduce执行流程21-22
• 2.3 分布式数据库HBase22-28
• 2.3.1 HBase体系架构22-26
• 2.3.2 HBase数据存储模型26-28
• 2.4 Hadoop相关技术28-29
• 2.5 本章小结29-30
• 第三章 基于Hadoop的矢量数据管理30-44
• 3.1 矢量数据概述30-31
• 3.1.1 矢量数据结构30-31
• 3.1.2 矢量数据特点31
• 3.2 基于HDFS的矢量数据存储模式31-34
• 3.2.1 矢量数据模型31-32
• 3.2.2 矢量数据key/value存储模式设计32-34
• 3.3 基于MapReduce的矢量空间操作34-36
• 3.3.1 MapReduce矢量数据处理流程34-35
• 3.3.2 基本空间操作算法35-36
• 3.3.3 基于MapReduce空间操作实现36
• 3.4 一种判断海量点在多边形内的改进射线法36-42
• 3.4.1 传统射线法37-38
• 3.4.2 海量点在多边形内的改进射线法38-42
• 3.4.3 基于MapReduce的算法设计42
• 3.5 HBase矢量数据管理42-43
• 3.6 本章小结43-44
• 第四章 基于Hadoop的海量栅格数据管理44-56
• 4.1 栅格数据概述44-46
• 4.1.1 栅格数据结构44-45
• 4.1.2 编码方式45
• 4.1.3 主要特点45-46
• 4.2 基于HDFS的海量栅格数据存储模式46-50
• 4.2.1 小文件问题46
• 4.2.2 小文件处理技术46-48
• 4.2.3 基于MapFile海量栅格数据存储模式设计48-50
• 4.3 基于MapReduce的并行K均值图像聚类50-55
• 4.3.1 K均值聚类算法分析50-51
• 4.3.2 基于MapReduce的K均值图像聚类流程51-52
• 4.3.3 K均值图像聚类设计与实现52-55
• 4.4 HBase海量栅格数据管理55
• 4.5 本章小结55-56
• 第五章 实验与结果分析56-67
• 5.1 实验环境56-57
• 5.1.1 节点配置56
• 5.1.2 Hadoop集群配置56-57
• 5.2 结果分析57-66
• 5.3 本章小结66-67
• 第六章 总结与展望67-69
• 6.1 论文总结67-68
• 6.2 展望68-69
• 致谢69-70
• 参考文献70-73
• 攻读研究生学位期间取得的成果73-74

【参考文献】

中国期刊全文数据库 前2条

1 陈涛;肖侬;刘芳;付长胜;;基于聚类和一致Hash的数据布局算法[J];软件学报;2010年12期

2 周婷;张君瑛;罗成;;基于Hadoop的K-means聚类算法的实现[J];计算机技术与发展;2013年07期

  本文关键词：面向海量空间数据并行高效处理的存储模式设计与研究，由笔耕文化传播整理发布。

本文编号：261203