云计算环境下空间大数据存储索引机制研究

发布时间：2020-03-18 21:53

【摘要】：大数据时代的到来,使得空间数据正在以前所未有的速度增长,并呈现出多源、多尺度、多时相、全球覆盖和高分辨率特征,GIS在生活中的广泛应用,用户数量变得越来越庞大,空间实时检索与获取在不断增多,而空间数据作为GIS的“血液”,如何对其进行合理的存储管理才能满足GIS用户的需求值得进一步探索。云计算的发展使得Hadoop和MapReduce在处理空间大数据的并行存取与处理等问题上得到了充分的应用,特别适用于空间大数据的并行存取与处理,因此,针对空间数据数据量大、存在拓扑与语义关系、更新频繁等特点,需要利用Hadoop平台,对空间大数据设计一种合理的空间数据结构进行存储,并构建高效的索引。本文利用云计算平台Hadoop、分布式数据库HBase、分布式计算模型MapReduce研究空间大数据的存储索引机制,并以OSM空间数据为例,完成了以下3个方面的研究:(1)分析OSM空间数据的结构和特点,针对空间大数据在云计算环境下的管理需求,设计空间数据存储模型和增量数据组织方式。同时为保证地理要素几何完整性以及拓扑关系完整性,将HDFS现有的副本放置策略进行改进并研究适合空间数据的数据副本放置策略。(2)对于空间大数据,为解决其空间分布不均、保证空间数据的相邻性等问题,经对比分析常见的空间数据划分策略后,提出基于STR树的空间数据划分策略,同时为了提高空间数据的索引效率和分析性能,利用MapReduce技术进行并行划分。(3)分析传统空间索引机制的优缺点,对划分好的空间数据,根据地理实体要素的分布排序以自下而上的方式利用R-树进行局部索引的构建,然后再根据STR树构建全局索引,将局部索引与全局索引的信息分别存储在DataNode和NameNode上,以此来提高空间数据检索效率。最后,部署Hadoop分布式环境,以OSM数据为例进行测试分析,对比在数据量及集群节点个数不同的情况下空间数据的存储和查询性能,验证了分布式环境下空间数据的存储和索引都具有良好的性能,能够满足空间数据存储和检索的需求。
【图文】：

项目结构

op 简介op 是由 Apache Lucene 创始人 Doug Cutting 创建，起源于开源的网络cene，因此也是 Lucene 的一部分。Doug Cutting 在创建 Hadoop 过程单好记，具有一定的个性，不易于与其他项目重名，因此他将自己取的名字作为该项目的名字，生动有趣，并将这种风格继续沿用下去后续模块也是如此，如 Pig。用 Hadoop 云平台，可以实现对规模庞大的数据进行有效的分布式op 主要是为了解决 Nutch 中的可扩展性问题，而现在已经发展成为源软件，具有数十个具有强大生命力的子项目，可以利用一般情况PC 机搭建集群环境，实现对大数据的管理。Hadoop 平台的出现，，其扩展容易、处理效率高、容错性好、所需成本低等许多非常明显的常方便快捷地部署和使用，并实现对大数据的处理和挖掘。

架构图,架构,分布式文件系统

图 2.2 HDFS 架构图DFS 分布式文件系统中的节点类型可以分为两种，即元数据节点（Name节点（DataNode）。NameNode 的存在相当于 HDFS 中的“大管家”，负中的文件和目录，并把它们作为命名空间镜像文件和编辑日志文件存储在用者编写的相关信息可以在 HDFS 中有序的被保存起来、进行更新或删NameNode 将分割的不同块指定存储在对应的 DataNode 上。而 DataNode储整个 HDFS 分布式文件系统的文件数据，在 DataNode 启动的时候，它磁盘并将保存在节点上的块信息报告给 NameNode。为了保证 DataNode 之间的联系，DataNode 需要定期发送心跳保持联系，否则认为其已经ameNode 在启动的时候读取 fsimage（NameNode 启动时对整个文件系统dit logs（NameNode 启动后对文件系统的改动序列）合并，把改动写到文
【学位授予单位】：江西理工大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：P208

【相似文献】