云计算环境下的空间矢量数据存储与管理

发布时间：2017-03-27 09:02

  本文关键词：云计算环境下的空间矢量数据存储与管理，，由笔耕文化传播整理发布。

【摘要】：随着空间数据规模的不断增长以及空间信息应用的日益增强,对海量空间数据的存储与管理提出了新的挑战。而云计算无限扩展的存储能力以及强大的计算能力则可以满足海量数据存储、大数据并行处理、持久在线服务等方面的需求。鉴于云计算技术的诸多优点,论文针对如何利用云计算技术实现对海量矢量数据的存储与管理展开研究。重点对云计算环境下矢量数据的索引建立、数据划分、编码规则以及数据的导入、查询、更新方式进行了设计与实验。论文围绕以下几个方面开展工作:(1)矢量数据云存储研究背景介绍及相关理论技术分析。论文从海量空间数据存储、空间大数据处理和持久在线空间信息服务三个方面分析了开展云环境下矢量数据存储与管理研究的应用需求,明确了本文的研究意义;分析了当前国内外云计算及空间信息云存储的研究现状;并针对矢量数据云存储所涉及到的理论与技术,从矢量数据存储、云计算技术和开源云平台Hadoop三个方面进行了详细分析和研究。(2)构建了基于Hadoop的矢量数据分布式存储策略。针对矢量数据的多尺度特点,采用四叉树层次剖分技术设计了多级格网索引;基于Hilbert空间填充曲线的聚类特性,设计了矢量数据的划分策略;结合空间信息多级格网编码和Hilbert编码,设计了符合HBase数据库RowKey存储规则的矢量数据标识编码;根据HBase数据库的存储规则,确定了矢量数据的组织方式以及矢量数据、索引数据、元数据、属性数据字典的数据库表结构。(3)设计了基于Hadoop的矢量数据并行管理方法。从数据预处理、多级格网区域划分、Hilbert填充曲线数据划分三个方面确定了基于MapReduce并行计算模型的矢量数据并行入库流程;分析了基于MapReduce的矢量数据并行查询一般流程,并以并行空间选择查询和并行空间KNN查询为例进行了具体设计;针对基于Hadoop的矢量数据存储模式,从局部数据更新和整体数据更新两方面确定了矢量数据更新流程。(4)关键技术实验验证。设计并实现了基于Hadoop的矢量数据存储与管理原型系统,实现了对矢量数据的导入、查询、更新等功能;对本文设计的矢量数据并行入库、矢量要素标识聚类效果、矢量数据并行查询效率以及矢量数据云存储模式面向服务的数据支持能力进行了实验验证。
【关键词】：云计算 云存储 并行计算 矢量数据 Hadoop云平台 MapReduce 矢量数据导入 矢量数据查询 矢量数据更新
【学位授予单位】：解放军信息工程大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：P208
【目录】：

• 摘要5-7
• Abstract7-15
• 第一章 绪论15-24
• 1.1 研究背景15-17
• 1.1.1 海量空间数据存储15-16
• 1.1.2 空间大数据处理16
• 1.1.3 持久在线服务16
• 1.1.4 本文研究意义16-17
• 1.2 国内外研究现状17-21
• 1.2.1 云计算发展现状17-18
• 1.2.2 空间信息云存储研究现状18-20
• 1.2.3 当前研究中的不足20-21
• 1.3 论文研究内容21
• 1.4 论文组织21-23
• 1.5 本章小结23-24
• 第二章 矢量数据存储及云计算理论与技术基础24-34
• 2.1 矢量数据存储概述24-27
• 2.1.1 矢量数据概述24
• 2.1.2 传统矢量数据组织管理24-26
• 2.1.3 分布式矢量数据管理26-27
• 2.2 云计算概述27-29
• 2.2.1 云计算的概念27
• 2.2.2 云计算的技术体系结构27-28
• 2.2.3 几种典型的云计算平台28-29
• 2.3 开源云平台Hadoop29-33
• 2.3.1 Hadoop概述29-30
• 2.3.2 HDFS文件系统30-31
• 2.3.3 HBase数据库31-32
• 2.3.4 Map Reduce并行计算模式32-33
• 2.4 本章小结33-34
• 第三章 基于Hadoop的矢量数据分布式存储34-47
• 3.1 基于四叉树剖分的多级格网索引34-38
• 3.1.1 空间索引概述34
• 3.1.2 金字塔四叉树剖分多级格网34-35
• 3.1.3 多级格网空间索引35-37
• 3.1.4 矢量数据比例尺与格网层次的对应关系37-38
• 3.2 基于Hilbert填充曲线的矢量数据划分38-41
• 3.2.1 Hilbert填充曲线38-39
• 3.2.2 矢量数据划分方法39-40
• 3.2.3 矢量要素的标识设计40-41
• 3.3 基于HBase的矢量数据存储41-46
• 3.3.1 HBase存储规则41-42
• 3.3.2 基于HBase的矢量数据组织模式42-43
• 3.3.3 基于HBase的矢量数据存储规则设计43-46
• 3.4 本章小结46-47
• 第四章 基于Hadoop的矢量数据并行管理47-61
• 4.1 Map Reduce并行计算模型47-50
• 4.1.1 Map Reduce框架47-48
• 4.1.2 Map Reduce计算模式48-49
• 4.1.3 空间数据并行处理可行性分析49-50
• 4.2 矢量数据的并行入库50-54
• 4.2.1 流程分析50-51
• 4.2.2 适应Map Reduce运算的数据预处理51-52
• 4.2.3 基于Map Reduce的矢量数据并行入库52-54
• 4.3 矢量数据并行查询54-57
• 4.3.1 空间查询概述54
• 4.3.2 基于Map Reduce的矢量数据并行查询54-55
• 4.3.3 并行空间选择查询55-56
• 4.3.4 并行空间KNN查询56-57
• 4.4 矢量数据更新策略57-60
• 4.4.1 数据更新概述57-58
• 4.4.2 矢量数据局部更新方法58-59
• 4.4.3 整体数据更新方法59-60
• 4.5 本章小结60-61
• 第五章 原型系统设计实现与实验验证61-70
• 5.1 原型系统体系结构设计61
• 5.2 测试环境61-64
• 5.2.1 实验环境61-62
• 5.2.2 平台搭建62-63
• 5.2.3 实验数据63-64
• 5.3 关键技术实验验证64-69
• 5.3.1 并行入库64-65
• 5.3.2 矢量要素唯一标识聚类效果65-66
• 5.3.3 并行范围查询效率66-67
• 5.3.4 数据支持能力验证67-69
• 5.4 本章小结69-70
• 第六章 总结与展望70-72
• 6.1 主要工作70-71
• 6.2 下一步研究工作71-72
• 致谢72-73
• 参考文献73-78
• 作者简历78

【参考文献】

中国期刊全文数据库 前10条

1 乔百友;邓增安;王秋杰;朱红印;孔德福;王国仁;;一种基于网格索引的空间连接查询处理优化算法[J];小型微型计算机系统;2014年10期

2 杨润芝;沈文海;肖卫青;胡开喜;杨昕;王颖;田伟;;基于MapReduce计算模型的气象资料处理调优试验[J];应用气象学报;2014年05期

3 孙滔;王杉;邢军;;文献共享系统和数据共享系统的云计算平台建设[J];计算机技术与发展;2014年09期

4 王群华;;关于“云计算”及其未来应用的展望[J];科技创新与应用;2014年23期

5 雷德龙;郭殿升;陈崇成;巫建伟;吴小竹;;基于MongoDB的矢量空间数据云存储与处理系统[J];地球信息科学学报;2014年04期

6 黄冬梅;杜艳玲;贺琪;;混合云存储中海洋大数据迁移算法的研究[J];计算机研究与发展;2014年01期

7 杨东日;王颖;储浩;;基于InfiniBand协议的云存储关键技术研究[J];高技术通讯;2014年01期

8 李瑞轩;董新华;辜希武;周湾湾;王聪;;移动云服务的数据安全与隐私保护综述[J];通信学报;2013年12期

9 禹禄君;;探析云计算的实现机制[J];长沙通信职业技术学院学报;2013年03期

10 魏清凤;罗长寿;孙素芬;张峻峰;;云计算在我国农业信息服务中的研究现状与思考[J];中国农业科技导报;2013年04期

中国硕士学位论文全文数据库 前10条

1 何涛;面向海量空间数据并行高效处理的存储模式设计与研究[D];电子科技大学;2014年

2 董亭亭;大数据下空间数据索引和kNN查询技术的研究[D];大连理工大学;2013年

3 李钰;基于MapReduce的空间数据RkNN算法研究[D];大连理工大学;2013年

4 李勋;基于hilbert划分的并行矢量数据索引算法研究[D];电子科技大学;2013年

5 张广弟;分布式环境下海量空间数据的存储和并行查询技术研究[D];江西理工大学;2012年

6 刘彪;空间数据库中基于MapReduce的kNN算法研究[D];大连海事大学;2012年

7 崔鑫;海量空间数据的分布式存储管理及并行处理技术研究[D];国防科学技术大学;2010年

8 周松;面向数据密集型超级计算的基于纠删码的容错存储技术研究[D];国防科学技术大学;2010年

9 霍树民;基于Hadoop的海量影像数据管理关键技术研究[D];国防科学技术大学;2010年

10 李波;城市基础地理信息系统矢量数据更新研究[D];南京师范大学;2006年

  本文关键词：云计算环境下的空间矢量数据存储与管理，由笔耕文化传播整理发布。

本文编号：270144