基于MapReduce的栅格地图切片系统

发布时间：2017-09-27 08:36

  本文关键词：基于MapReduce的栅格地图切片系统

  更多相关文章： MapReduce 栅格地图 分布式地图切片

【摘要】：近年来,地理信息技术的飞速发展和空间遥感仪器分辨率的不断提高,使得地图应用领域不断扩大、栅格地图数据量急剧增长。现阶段WebGIS系统通常预先对栅格地图数据进行切片,并以瓦片金字塔形式组织栅格地图数据。当客户端访问WebGIS系统获取地图数据时,服务器端将预先切片完成的瓦片数据返回给客户端。传统单机式地图切片系统受限于单一节点的计算能力和存储能力,渐渐成为海量栅格地图数据处理技术发展的瓶颈。加快海量栅格地图数据的切片速度,对提高WebGIS的效率具有重要意义。云计算技术能够将数据和计算任务分散到大量计算机节点上进行管理,具备高可靠性和高可扩展性等特点。云计算技术提供了前所未有的计算能力和存储能力,为提高海量栅格地图数据的切片速度提供了新的基础平台。本文基于分布式计算框架MapReduce搭建了栅格地图数据切片系统,解决了海量栅格地图数据的切片问题。本文的主要研究内容和创新点如下:1.对现有分布式栅格地图切片系统关键技术进行了研究。指出了当前栅格地图切片系统的不足之处。针对海量地图数据的切片需求,设计了基于MapReduce的栅格地图切片系统。2.对HDFS的冗余备份机制进行了研究。提出了一种地图源文件拆分算法。该算法利用MapReduce的“本地计算”机制,能够减少地图切片过程中的网络数据传输,使切片任务在实际存储地图数据的节点上运行,降低了切片系统对网络带宽资源的依赖程度。3.对瓦片金字塔构建方案进行了研究。结合瓦片金字塔的模型结构,设计了一种利用瓦片缓存技术的瓦片金字塔构建方法。通过降低瓦片缩放时的计算量来加快瓦片金字塔的构建速度。利用金字塔内瓦片的排布规律,减少瓦片金字塔构建过程中的内存使用量。4.对海量数据下的瓦片金字塔并行构建技术进行了研究。结合MapReduce的应用特点,提出了一种基于MapReduce的迭代式瓦片金字塔构建方案。该方案将格式块文件分配到多个节点独立切片,实现了瓦片金字塔的并行构建。通过合并瓦片金字塔的底层数据并将其作为下一轮切片操作的输入数据,实现了迭代式切片。该方案利用云计算技术强大的计算能力和存储能力,提高了海量栅格地图数据的切片速度。结合上述研究成果,本文实现了基于MapReduce的海量栅格地图数据切片系统,并针对系统切片时间进行了性能测试,实际测试结果证实了本文所述内容的可行性及有效性。测试结果证明了在栅格地图数据量保持不变的情况下,系统的切片时间随着集群中切片节点数的增加而线性下降。本文利用云计算技术提高了地图切片系统的切片速度,解决了海量栅格地图数据的切片问题。
【关键词】：MapReduce 栅格地图 分布式地图切片
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：P208;TP393.09
【目录】：

• 摘要5-7
• ABSTRACT7-12
• 符号对照表12-13
• 缩略语对照表13-18
• 第一章 绪论18-24
• 1.1 课题背景18-21
• 1.1.1 WebGIS的发展18-20
• 1.1.2 海量地图数据处理20-21
• 1.2 地图切片系统现状及研究意义21-22
• 1.3 文章内容及章节结构22-24
• 1.3.1 研究内容22
• 1.3.2 论文章节安排22-24
• 第二章 地图切片技术分析24-32
• 2.1 地图切片流程24-26
• 2.1.1 传统分布式地图切片系统24-25
• 2.1.2 RMTS设计目标25-26
• 2.2 GIS相关技术26-32
• 2.2.1 数字地图分类26
• 2.2.2 地图投影26-28
• 2.2.3 瓦片金字塔28-30
• 2.2.4 四叉树编码30-32
• 第三章 相关平台及工具库介绍32-38
• 3.1 分布式计算框架32-35
• 3.1.1 Hadoop32-33
• 3.1.2 HDFS33-34
• 3.1.3 MapReduce34-35
• 3.2 第三方工具库35-38
• 3.2.1 图片缩放库35
• 3.2.2 图片编码库35-36
• 3.2.3 地图源文件读取库36
• 3.2.4 投影变换库36-38
• 第四章 系统概要设计38-54
• 4.1 RMTS组成结构38-39
• 4.2 RMTS切片流程39-40
• 4.3 数据预处理模块40-44
• 4.3.1 格式块文件大小40-41
• 4.3.2 格式块文件规范41-43
• 4.3.3 投影变换43-44
• 4.4 切片模块44-48
• 4.4.1 MapReduce执行流程44-45
• 4.4.2 格式块文件切片45
• 4.4.3 瓦片金字塔缓存模型45-46
• 4.4.4 中间文件分配46-47
• 4.4.5 格式块文件合并47-48
• 4.5 底层支撑模块48-49
• 4.5.1 图片缩放模块48-49
• 4.5.2 图片编码模块49
• 4.6 瓦片存储模块49-54
• 4.6.1 本地文件系统存储49-51
• 4.6.2 本地SQLite数据库存储51-52
• 4.6.3 Hadoop云端存储52-54
• 第五章 系统详细设计54-72
• 5.1 预处理模块54-58
• 5.1.1 数据预处理54-57
• 5.1.2 格式块文件大小57-58
• 5.2 切片模块58-67
• 5.2.1 格式块文件切片58-61
• 5.2.2 Map任务相关类定制61-63
• 5.2.3 Partitioner类定制63-64
• 5.2.4 格式块文件合并64-65
• 5.2.5 Reduce任务相关类定制65-67
• 5.3 底层支撑模块67-69
• 5.3.1 图片缩放67-68
• 5.3.2 图片编码68-69
• 5.4 瓦片存储69-72
• 第六章 系统性能测试及优化72-80
• 6.1 性能测试方案72-74
• 6.1.1 性能影响因素72
• 6.1.2 测试环境72-73
• 6.1.3 测试数据73
• 6.1.4 测试方案73-74
• 6.2 性能测试结果分析74-77
• 6.2.1 瓦片格式测试74
• 6.2.2 瓦片存储方式测试74-75
• 6.2.3 集群节点数量测试75-76
• 6.2.4 存储空间测试76-77
• 6.3 RMTS横向对比77-80
• 6.3.1 切片时间横向对比77-78
• 6.3.2 系统切片操作对比78-80
• 第七章 总结与展望80-82
• 参考文献82-84
• 致谢84-86
• 作者简介86-87

【共引文献】

中国期刊全文数据库 前10条

1 毛琼;罗传文;单瑶瑶;;结合GIS创建三维可视化园林景观[J];黑龙江生态工程职业学院学报;2007年05期

2 陈会利;;石化企业总图三维GIS系统的建设实践[J];石油化工建设;2010年02期

3 刘京鹏;王圣洁;苏国辉;;基于GIS的海砂资源管理信息系统的开发与设计[J];海洋地质动态;2008年05期

4 余芳文;尚建嘎;古富强;胡旭科;;动态定位精度测试方法及实验研究[J];测控技术;2012年01期

5 王海龙;米红军;秦志辉;;三维虚拟采矿系统实体矿床模型的构建[J];金属矿山;2007年02期

6 刘伟;郭润利;;山西石膏山风景区规划[J];山西建筑;2010年12期

7 叶璐;张珞平;郭娟;袁蕾;王中瑗;张保学;;河口区海洋环境监测与评价一体化研究1——珠江口水环境监视性监测方案设计、实施和改进[J];海洋环境科学;2014年01期

8 马骏;孔帅可;周兵;张桐;;基于薄板样条插值算法的巨幅影像分块并行处理[J];计算机时代;2015年07期

9 彭绪富;胡柳武;周攀;;一种交通路径的生成与最佳线路寻找算法[J];微计算机应用;2009年02期

10 夏华丽;王俊s，

本文编号：928700