栅格地图分布式存储方案设计与性能分析

发布时间：2017-05-02 06:10

  本文关键词：栅格地图分布式存储方案设计与性能分析，由笔耕文化传播整理发布。

【摘要】：随着大数据时代的到来，各行业数据量呈现爆炸式增长，传统关系型数据库的弊端逐渐体现出来。在此背景下，海量数据的分布式存储已经逐渐成为诸多学术研究机构和IT企业的重点研究课题。地理信息系统（GIS）领域的栅格地图数据除了数据量大，还具有结构复杂、小文件数量多以及空间特征明显的特点，为此本文提出了一套适合于GIS栅格地图数据的分布式存储方案。 本文在对Hadoop框架进行了深入分析的基础上，设计并实现了一套专用于存储栅格地图数据的分布式存储方案——“瓦片数据分布式索引存储系统（TDIS）”。TDIS不仅包括了基于HBase的分布式索引机制及基于HDFS的瓦片存储方案，同时通过修改HDFS源码实现了分布式缓存功能，并完成了基于MapReduce的数据清理功能等。本文对影响分布式存储系统读写性能的因素进行了理论分析，并通过实验证明在相同的硬件环境下，，TDIS系统的访问性能相比于其他存储系统提升了近40%。此外，本文在对多组实验结果分析的基础上讨论了提升TDIS系统访问性能的具体方案。 本文设计的TDIS系统已用于实际科研项目中，实践证明该系统能够提供稳定的瓦片存取服务，并在实际应用中体现出明显的性能优势。
【关键词】：分布式存储 Hadoop 栅格地图数据 TDIS
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要3-4
• Abstract4-8
• 第一章 绪论8-14
• 1.1 课题背景8-9
• 1.2 国内外研究现状9-11
• 1.2.1 国外商业公司产品的研究现状9
• 1.2.2 国外研究机构的研究现状9-10
• 1.2.3 国内商业公司产品的研究现状10-11
• 1.2.4 国内研究机构的研究现状11
• 1.3 论文主要工作11-12
• 1.4 论文章节安排12-14
• 第二章 课题相关技术分析14-24
• 2.1 栅格地图存储技术分析14-19
• 2.1.1 墨卡托投影与地理坐标投影14-15
• 2.1.2 金字塔模型15-17
• 2.1.3 S 模型与 T 模型17
• 2.1.4 Z 型编码与回型编码17-19
• 2.2 开源云计算系统 HADOOP19-22
• 2.2.1 Hadoop 概述19-20
• 2.2.2 HDFS20-21
• 2.2.3 MapReduce21-22
• 2.2.4 HBase22
• 2.3 本章小结22-24
• 第三章 分布式存储方案的设计24-46
• 3.1 栅格地图传统存储方案24-28
• 3.1.1 独立文件存储24-25
• 3.1.2 关系型数据存储25-26
• 3.1.3 打包文件存储26-28
• 3.2 HBASE 存储栅格地图28-39
• 3.2.1 HBase 存储模型29-33
• 3.2.2 HBase 存储方案设计33-35
• 3.2.3 存储方案分析35-38
• 3.2.4 方案小结38-39
• 3.3 TDIS 方案39-44
• 3.3.1 方案设计39-43
• 3.3.2 方案分析43-44
• 3.3.3 方案小结44
• 3.4 本章小结44-46
• 第四章 TDIS 存储方案详细设计与实现46-68
• 4.1 索引存储模型的实现46-49
• 4.1.1 文件存储格式46-47
• 4.1.2 HBase 索引存储47-49
• 4.2 缓存预取模块的实现49-57
• 4.2.1 缓存预取方案49-51
• 4.2.2 方案优化51-57
• 4.3 后台清理模块的实现57-64
• 4.3.1 瓦片顺序整理57-62
• 4.3.2 一致性检查62-63
• 4.3.3 过期瓦片清理63-64
• 4.4 历史数据管理模块的实现64-65
• 4.5 更新事务管理模块的实现65-67
• 4.6 金字塔元数据管理模块的实现67
• 4.7 本章小结67-68
• 第五章 分布式存储方案性能分析68-82
• 5.1 测试介绍68-71
• 5.1.1 测试软件68-69
• 5.1.2 测试环境69
• 5.1.3 测试用例69-71
• 5.2 HBASE 存储方案与 TDIS 方案性能对比71-74
• 5.2.1 写性能测试71-72
• 5.2.2 读性能测试72-74
• 5.2.3 方案对比74
• 5.3 TDIS 方案优化实验结果分析74-80
• 5.3.1 索引编码对性能影响74-76
• 5.3.2 预取方案对性能影响76-77
• 5.3.3 DataNode 数对性能影响77-78
• 5.3.4 磁盘数对性能影响78-79
• 5.3.5 索引存储方式对性能影响79-80
• 5.4 本章小结80-82
• 第六章 结束语82-84
• 致谢84-86
• 参考文献86-88

【参考文献】

中国期刊全文数据库 前8条

1 苏旭明;谭建成;;WebGIS中瓦片地图关键技术研究[J];北京测绘;2012年02期

2 王俊生;施运梅;张仰森;;基于Hadoop的分布式搜索引擎关键技术[J];北京信息科技大学学报(自然科学版);2011年04期

3 王旭东;张福浩;张丽萍;;基于地形数据的瓦片金字塔构建与组织[J];测绘与空间地理信息;2012年06期

4 李少丹;;“云GIS”的发展趋势分析[J];电脑知识与技术;2011年16期

5 饶庆云;丁晶晶;苏乐乐;谷永权;夏良晖;胡中南;;基于云计算的分布式切图服务设计与实现[J];测绘与空间地理信息;2013年S1期

6 余庆;;分布式文件系统FastDFS架构剖析[J];程序员;2010年11期

7 张春明;芮建武;何婷婷;;一种Hadoop小文件存储和读取的方法[J];计算机应用与软件;2012年11期

8 涂振发;孟令奎;张文;黄长青;;面向分布式GIS空间数据的Key-value缓存[J];武汉大学学报(信息科学版);2013年11期

  本文关键词：栅格地图分布式存储方案设计与性能分析，由笔耕文化传播整理发布。

本文编号：340418