面向POI的分布式结构化存储系统存储引擎设计与实现

发布时间：2017-05-03 22:01

  本文关键词：面向POI的分布式结构化存储系统存储引擎设计与实现，由笔耕文化传播整理发布。

【摘要】：随着增强现实在生活中的逐步应用以及空间数据的爆炸性增长,对空间数据的存储也提出了更严格的要求,尤其是存储系统的可用性,可扩展性和高效性等。传统的分布式数据存储方案不符合空间数据存储的要求,而大部分的空间数据库又不能有效的存储大量的空间数据,尤其是实现与互联网的对接,实现线上和线下的结合,因此面向空间的分布式结构化存储系统的研究是势在必行的,面向POI的分布式结构化存储系统即是这样一种针对于POI的存储系统。本文首先对增强现实以及云计算目前的研究现状做了大致的介绍,调研了目前国内外比较主流的几种分布式存储系统,描述了各个系统的优缺点。在增强现实的各种技术开始成熟时,面对海量的空间数据,本文设计并实现了面向POI的分布式结构化存储系统CBASE,同时对CBASE的数据存储引擎进行了重点研究。CBASE采用分布式的架构,底层存储数据库为MySQL,主要使用的MySQL的空间扩展实现对空间数据的支持。CBASE设计了良好的空间索引机制,通过使用POIID解析规则将标识符和范围合并成一个唯一性的ID,对客户隐藏了内部的查询机制,提高系统的透明性。系统使用二级索引提高系统的效率,第一级索引为R树索引,根据POI的地理位置坐标定位POI所处的空间,第二级索引为索引表,根据POI所处的空间定位该空间所处的存储节点。CBASE的容错机制采用副本冗余策略,通过版本号机制实现数据的一致性。当数据发生修改时,系统都会通过Lazy同步机制修改版本号。系统在修改数据时采用多数派策略,即只有当超过半数的副本操作成功后才返回给用户成功消息,提高了系统的效率同时保证了数据的正确性。CBASE设计了区域四分策略进行区域负载均衡的管理,区域四分策略会在区域超载的时候将区域拆分以保证不会有过量的用户请求对该区域进行访问,同时设计了域迁移和域拆分两个流程来实现区域和存储节点之间的数据转移,防止区域和存储节点产生热点问题,影响系统的效率。本文最后对系统的实现进行了描述,并进行功能和性能测试,生成并分析了测试结果。
【关键词】：分布式 POI 空间数据 资源定位
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 绪论11-15
• 1.1 背景介绍11-12
• 1.2 国内外研究现状12-13
• 1.3 主要研究内容13
• 1.4 论文组织13-14
• 1.5 本章小结14-15
• 第二章 相关理论与技术基础15-30
• 2.1 POI概述15
• 2.2 分布式数据库15-21
• 2.2.1 HBase分布式数据库16-17
• 2.2.2 Google Spanner分布式数据库17-19
• 2.2.3 Clustrix Sierra数据库19-21
• 2.3 OpenGIS几何模型21-23
• 2.3.1 类Geometry22
• 2.3.2 类Point22
• 2.3.3 类Polygon22-23
• 2.4 二维空间数据结构表示23-25
• 2.4.1 四叉树23-24
• 2.4.2 R树24-25
• 2.5 负载均衡25-27
• 2.6 容错机制27-29
• 2.6.1 双机热备27-29
• 2.6.2 Paxos算法29
• 2.7 本章小结29-30
• 第三章 分布式存储系统的总体设计30-41
• 3.1 需求分析30-31
• 3.2 系统设计方案31-32
• 3.2.1 空间数据管理31-32
• 3.2.2 可扩展性32
• 3.2.3 性能32
• 3.3 CBASE系统架构32-35
• 3.3.1 访问接.库33-34
• 3.3.2 元数据服务器34
• 3.3.3 调度服务器34
• 3.3.4 存储节点34-35
• 3.4 系统主要流程35-40
• 3.4.1 上传域35-36
• 3.4.2 上传POI36-37
• 3.4.3 查询POI37-38
• 3.4.4 域拆分38-39
• 3.4.5 域迁移39-40
• 3.5 本章小结40-41
• 第四章 存储引擎的分析与设计41-56
• 4.1 资源查询机制的设计41-46
• 4.1.1 资源定位机制41-45
• 4.1.2 任务下发机制45-46
• 4.2 数据存储模块的设计46-53
• 4.2.1 表结构的设计46-48
• 4.2.2 容错机制48-50
• 4.2.3 负载均衡50-53
• 4.3 通信协议设计53-55
• 4.4 本章小结55-56
• 第五章 存储引擎的实现56-70
• 5.1 通信框架的实现56-57
• 5.2 GWLib的实现57-62
• 5.2.1 结构图57-58
• 5.2.2 类图58-61
• 5.2.3 典型任务流程图61-62
• 5.3 Master的实现62-66
• 5.3.1 结构图62-63
• 5.3.2 类图63-65
• 5.3.3 典型任务流程图65-66
• 5.4 LDB的实现66-69
• 5.4.1 结构图66-67
• 5.4.2 类图67-69
• 5.4.3 典型任务流程图69
• 5.5 本章小结69-70
• 第六章 系统测试与分析70-77
• 6.1 测试环境70-71
• 6.2 系统功能测试71-74
• 6.2.1 基本功能测试71-73
• 6.2.2 负载均衡功能测试73-74
• 6.3 系统性能测试74-76
• 6.3.1 上传POI74-75
• 6.3.2 查询POI75-76
• 6.4 本章小结76-77
• 第七章 结论77-78
• 致谢78-79
• 参考文献79-81
• 攻研期间的研究成果81-82

【参考文献】

中国期刊全文数据库 前6条

1 董晓霞;吕廷杰;;云计算研究综述及未来发展[J];北京邮电大学学报(社会科学版);2010年05期

2 杨建宇,杨崇俊,刘冬林,芮小平,高积粮;基于OpenGIS规范的GIS组件的设计与实现[J];计算机工程;2005年09期

3 董继光;陈卫卫;田浪军;吴海佳;;大规模云存储系统副本布局研究[J];计算机应用;2012年03期

4 张玉芳;魏钦磊;赵膺;;基于负载权值的负载均衡算法[J];计算机应用研究;2012年12期

5 徐小龙;邹勤文;杨庚;;分布式存储系统中数据副本管理机制[J];计算机技术与发展;2013年02期

6 邵秀丽;王亚光;李云龙;刘一伟;;Hadoop副本放置策略[J];智能系统学报;2013年06期

  本文关键词：面向POI的分布式结构化存储系统存储引擎设计与实现，，由笔耕文化传播整理发布。

本文编号：343801