基于NoSQL的时空数据模型构建和存储方案研究

发布时间：2017-09-14 15:12

  本文关键词：基于NoSQL的时空数据模型构建和存储方案研究

  更多相关文章： 时空数据 非关系型数据库 Hadoop MongoDB Neo4j

【摘要】：随着人类社会不断信息化、数字化和智能化,时空数据在国民经济与日常生活中发挥着日益重要的作用,不断被应用于各个领域,如事件预测、环境监测、城市演化、交通管理、地震救援、全球或区域气候、物流配送、实时GIS、面向大数据的时空数据挖掘与分析等。时空数据系统是一种对数据进行采集、储存、分析处理和可视化的信息系统,既是对现实世界的模拟和进行空间数据分析处理的手段,也是一门对时空数据信息处理分析的科学技术。怎样在大数据环境下解决时空数据的存储和分析计算是业界的研究热点。时空数据库作为时空数据系统的核心,是时空数据系统进行存储和计算的基础,由于传统时空数据模型基于关系型数据库构建和存储,所以必须将问题领域模型转换成关系结构,转换代价较高,存储时将空间信息和时间信息割裂开来,同时关系型数据库受范式限制难于扩展、灵活性差、对于较为复杂的查询涉及大量连接操作,导致效率急剧下降。因此需要寻找能够对时空数据统一建模和存储的解决方案。No SQL是大数据环境下发展起来的非关系型、可水平扩展的、分布式的数据库,能够处理半结构化、结构化的数据,支持高并发的读写,存储模型包含键值、列族、文档、图等。No SQL摆脱了关系型数据库范式限制和ACID约束,没有固定表结构和低效的连接操作,基于CAP理论、BASE并发事务模型和最终一致性,因此具有更好的伸缩性和灵活性。No SQL为海量数据的存储和云计算环境下的数据分析与计算提供了坚实的基础,能够有效存储格式多样、数据量大、关系复杂的时空数据。本文首先对主流的时空数据模型和存储方案进行了系统的分析,介绍了国内外研究现状;然后详细介绍了时空数据特点和代表性数据模型,阐述了No SQL数据库的理论、数据模型以及相对于关系型数据库的优势;提出了基于No SQL的时空数据模型和存储的总体架构,分析了Hadoop结合Mongo DB的时空数据模型构建与存储,针对栅格数据与矢量数据特征结合Mongo DB基于文档存储模型,设计了相应的数据转换模块和栅格数据、矢量数据存储模型,结合Hadoop对大数据的处理能力,介绍了基于Mongo DB存储和Hadoop分析、计算的典型应用;利用Neo4j对具有复杂关系的时空数据进行建模和存储,提出了基于图数据库的时空数据时间表达和空间表达方法,应用实例说明了该模型的可行性,并且介绍了Neo4j Spatial库在时空数据处理方面的高效性和Neo4j集群架构;最后,基于曙光的XDATA-HADOOP平台搭建了Mongo DB与Neo4j,对论文提出的架构搭建了原型系统,在原型系统上进行了测试,测试结果分析表明了论文提出的基于No SQL的时空数据模型和架构的可行性与有效性。
【关键词】：时空数据 非关系型数据库 Hadoop MongoDB Neo4j
【学位授予单位】：重庆大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：P208
【目录】：

• 中文摘要3-5
• 英文摘要5-10
• 1 绪论10-14
• 1.1 课题研究的背景和意义10-11
• 1.2 国内外研究现状11-12
• 1.2.1 时空数据模型国内外研究现状11-12
• 1.2.2 NoSQL研究现状12
• 1.3 本文的主要工作12-13
• 1.4 本文的结构安排13-14
• 2 时空数据概念、特点与模型14-30
• 2.1 时空数据概念与特点14-17
• 2.1.1 空间信息及其语义表达15-16
• 2.1.2 时间信息及其语义表达16-17
• 2.2 时空数据模型与存储17-23
• 2.2.1 序列快照模型18
• 2.2.2 基态修正和时空复合模型18-20
• 2.2.3 面向对象的时空数据模型20-21
• 2.2.4 基于事件的时空数据模型21-22
• 2.2.5 基于图的时空数据模型22-23
• 2.3 NoSQL数据库23-29
• 2.3.1 NoSQL概述23
• 2.3.2 NoSQL的优势23-24
• 2.3.3 CAP, ACID与BASE理论24-26
• 2.3.4 NoSQL数据模型及分类26-29
• 2.4 本章小结29-30
• 3 基于NoSQL的时空数据模型与存储架构30-34
• 3.1 总体要求与功能30-31
• 3.1.1 总体要求30
• 3.1.2 功能设计30-31
• 3.2 总体架构31-33
• 3.2.1 数据源31-32
• 3.2.2 存储层32
• 3.2.3 接口层32-33
• 3.3 本章小结33-34
• 4 基于Hadoop和MongoDB的时空模型与存储34-58
• 4.1 Hadoop简述34-41
• 4.1.1 HDFS Federation35-38
• 4.1.2 YARN(MapReduce NextGen)38-41
• 4.2 MongoDB介绍41-45
• 4.2.1 MongoDB基本概念与特点41
• 4.2.2 MongoDB集群41-45
• 4.3 结合Hadoop和Mongodb的时空数据模型构建45-56
• 4.3.1 总体设计45-46
• 4.3.2 时空数据建模46-52
• 4.3.3 时空数据计算模型52-56
• 4.4 本章小结56-58
• 5 基于Neo4j图数据库的时空模型58-70
• 5.1 图数据库简述58-60
• 5.2 基于Neo4j图数据库的时空数据模型构建60-62
• 5.2.1 基于图数据库的时间表达60-61
• 5.2.2 基于图数据库的空间表达61-62
• 5.3 基于图数据库的时空数据模型应用62-68
• 5.3.1 时空数据图模型构建62-64
• 5.3.2 时空数据计算和分析64-65
• 5.3.3 Neo4j Spatial在时空数据处理中的应用65-66
• 5.3.4 基于Neo4j时空数据处理的架构66-68
• 5.4 本章小结68-70
• 6 原型系统搭建与测试70-84
• 6.1 原型系统搭建70-77
• 6.2 测试过程与分析77-81
• 6.3 本章小结81-84
• 7 总结与展望84-86
• 7.1 工作总结84
• 7.2 工作展望84-86
• 致谢86-88
• 参考文献88-92
• 附录92
• A. 作者在攻读学位期间内发表的论文目录92

【相似文献】

中国期刊全文数据库 前10条

1 郑扣根,余青怡,潘云鹤;基于事件对象的时空数据模型的扩展与实现[J];计算机工程与应用;2001年03期

2 林广发,冯学智,王雷,都金康;以事件为核心的面向对象时空数据模型[J];测绘学报;2002年01期

3 蔡砥,徐建华;基于Kevin-Ian 3D模型的紧致时空数据模型[J];测绘学报;2002年01期

4 尹章才,李霖,艾自兴;基于图论的时空数据模型研究[J];测绘学报;2003年02期

5 卢炎生,秦川,唐波;基于属性标识位的面向对象时空数据模型[J];华中科技大学学报(自然科学版);2003年03期

6 崔伟宏,史文中,李小娟;基于特征的时空数据模型研究及在土地利用变化动态监测中的应用[J];测绘学报;2004年02期

7 林广发;基于事件的时空数据模型研究[J];测绘学报;2004年03期

8 佘江峰,冯学智,都金康;时空数据模型的研究进展评述[J];南京大学学报(自然科学版);2005年03期

9 王宏勇,翟中敏,郭建星;时空数据模型及其在空间运动对象管理中的应用[J];地理空间信息;2005年05期

10 滕龙妹;刘仁义;刘南;;基于双效机制的时空数据模型研究[J];遥感学报;2005年06期

中国重要会议论文全文数据库 前10条

1 张英;邵峰晶;孙仁诚;;面向对象的四元组时空数据模型[A];第四届中国软件工程大会论文集[C];2007年

2 林广发;冯学智;江辉仙;;时空数据模型建模方法研究[A];中国地理信息系统协会第八届年会论文集[C];2004年

3 崔伟宏;史文中;李小娟;;基于特征的时空数据模型研究及在土地利用变化动态监测中的应用[A];全国地图学与GIS学术会议论文集[C];2004年

4 林广发;陈友飞;黄万里;;一种时空数据模型的分类方法[A];全国地图学与GIS学术会议论文集[C];2004年

5 汪卫;王宇君;施伯乐;;基于约束的时空数据模型和查询语言[A];第十六届全国数据库学术会议论文集[C];1999年

6 朱丽云;唐中实;牟博超;尹平;;城市规划时空数据模型设计[A];中国地理信息系统协会第九届年会论文集[C];2005年

7 秦其明;王洪庆;刘海涛;李U，

本文编号：850727