分布式环境下MongoDB对激光点云数据的存储和处理研究

发布时间：2017-10-11 21:25

  本文关键词：分布式环境下MongoDB对激光点云数据的存储和处理研究

  更多相关文章： 激光点云 MongoDB Sharding集群 范围分片 哈希分片

【摘要】：近年来,激光点云数据的应用急剧增加,如何对其进行高效存储和快速处理成为当前的一个重要研究方向。点云数据包含着丰富的地理信息,属于空间数据范畴。传统的关系型数据库对海量空间数据的存储和处理相对薄弱,分布式环境下非关系型数据库的应用为此提供了一个新的研究视角。目前,对海量空间数据的并行处理研究大部分是借助Hadoop集群中的MapReduce并行计算框架来完成的。因此,在非关系型数据库MongoDB的高可用Sharding集群中,对激光点云数据进行分布式存储和并行处理具有重要的研究意义。本文首先对比几种典型的非关系型数据库,指出MongoDB对空间数据的存储优势,深入分析MongoDB数据库的基本结构、Sharding集群的工作原理和在副本集中采用Bully算法实现的选举机制。然后,在上述理论基础和技术支持下,设计结合副本集的高可用Sharding集群总体架构,并从文件配置和分片配置两个阶段详细说明了集群的搭建过程。最后,在Sharding集群中对激光点云数据进行范围分片和哈希分片存储、geoNear空间查询、未排序和排序的Map Reduce运算对比实验,以及集群的容灾和负载平衡测试。本研究的独到之处在于:(1)搭建结合副本集的MongoDB高可用Sharding集群;(2)选取哈希分片(MongoDB2.4以上的版本开始支持)和范围分片进行激光点云数据的分布式存储和geoNear空间查询对比实验;(3)对MongoDB中空间索引使用的GeoHash算法进行基于Hilbert空间填充曲线的改进;(4)利用MongoDB自带的MapReduce框架进行激光点云数据的并行处理实验,并通过排序实现MapReduce并行运算的优化。上述实验取得的结论如下:(1)哈希分片保证激光点云数据在集群中各个节点分布基本均匀,而范围分片导致数据分布不均;(2)空间查询效率与激光点云数据的分布情况密切相关,在数据量较大的情况下,范围分片的查询效率优于哈希分片;(3)对激光点云数据进行排序可以在一定程度上提高MapReduce并行运算的效率。本文搭建的MongoDB高可用Sharding集群具有易扩展、自动数据备份、故障转移和恢复等功能,在此分布式环境下,对激光点云数据进行分布式存储和并行处理的研究,在一定程度上为空间数据平台的建设提供了支撑,对于数字城市的发展具有促进作用。
【关键词】：激光点云 MongoDB Sharding集群 范围分片 哈希分片
【学位授予单位】：北京工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13
【目录】：

• 摘要4-5
• Abstract5-9
• 第1章 绪论9-15
• 1.1 选题背景及研究意义9-10
• 1.2 国内外研究现状10-12
• 1.2.1 国内研究现状10-11
• 1.2.2 国外研究现状11-12
• 1.3 论文的研究内容12
• 1.4 论文的组织结构12-15
• 第2章 空间数据的分布式存储和并行处相关技术15-29
• 2.1 分布式存储技术15-21
• 2.1.1 分布式数据库系统15-16
• 2.1.2 关系型和非关系型数据库技术的差异16-17
• 2.1.3 非关系型数据库17-19
• 2.1.4 MongoDB数据库19-21
• 2.2 MongoDB的Sharding集群21-24
• 2.2.1 MongoDB的Sharding集群21-22
• 2.2.2 MongoDB的副本集22-24
• 2.3 并行处理技术24-27
• 2.3.1 空间查询25
• 2.3.2 MapReduce计算模型25-27
• 2.4 本章小结27-29
• 第3章 高可用Sharding集群的搭建29-39
• 3.1 Sharding集群总体架构29-30
• 3.2 Sharding集群的搭建30-38
• 3.2.1 Sharding集群的文件配置30-34
• 3.2.2 Sharding集群的分片配置34-38
• 3.3 本章小结38-39
• 第4章 激光点云数据的分布式存储39-43
• 4.1 激光点云数据概述39
• 4.2 分片存储测试39-41
• 4.2.1 范围分片存储40
• 4.2.2 哈希分片存储40-41
• 4.2.3 范围分片和哈希分片存储对比实验41
• 4.3 Sharding集群的性能测试41-42
• 4.3.1 容灾测试41-42
• 4.3.2 负载平衡测试42
• 4.4 本章小结42-43
• 第5章 GeoHash算法的研究及其改进43-51
• 5.1 GeoHash算法研究43-48
• 5.1.1 GeoHash编码原理43-45
• 5.1.2 空间填充曲线45-48
• 5.2 基于Hilbert曲线的GeoHash算法改进48-50
• 5.3 本章小结50-51
• 第6章 激光点云数据的并行处理实验51-57
• 6.1 激光点云数据的空间查询51-53
• 6.1.1 MongoDB的空间查询51-52
• 6.1.2 激光点云数据的geoNear查询实验52-53
• 6.2 激光点云数据的MapReduce运算53-56
• 6.2.1 MongoDB的MapReduce计算框架53-55
• 6.2.2 激光点云数据的MapReduce运算实验55-56
• 6.3 本章小结56-57
• 结论57-59
• 参考文献59-63
• 攻读硕士学位期间发表的学术论文63-65
• 致谢65

，

本文编号：1014830