Hadoop架构下地理信息存储与计算关键技术研究

发布时间：2017-05-23 13:29

  本文关键词：Hadoop架构下地理信息存储与计算关键技术研究，由笔耕文化传播整理发布。

【摘要】：在当前社会环境中,随着计算计算机视觉、虚拟现实、三维可视化等技术的发展,地学可视化研究已逐渐彰显出不凡的生命力,与此同时网络技术与云计算也正在蓬勃发展,渗入人们生活的各个角落。在此背景下,分布式地理信息系统的研究应运而生,旨在将整个处理任务按最优策略分配到计算机集群中达到合理高效使用资源的目的。传统的桌面GIS采用集中式存储模式容易导致单点资源瓶颈,数据无法共享等问题,阻碍了地理信息技术的进一步发展与应用。三维地理信息系统使用的空间数据具有海量特征,随着数据采集技术的进步,其数据量可以达到TB甚至PB级以上。在网络环境下,原有的解决方案不能很好地满足对这些空间数据的存储、管理、调度,且在此背景下,数据的高效传输也面临严峻的挑战。云计算概念的提出与发展给我们提供了一条行之有效的解决方案,我们可以采用云计算中分布式存储及并行计算的概念来解决数据存储调度的问题。本文对国内外现有分布式存储系统进行对比分析,选定Hadoop作为本文分布式存储的框架。Hadoop以HDFS作为分布式框架中的基础文件系统,采用MapReduce提供一个并行编程模型对数据进行并行处理,简化程序开发过程。可在商用硬件上搭建Hadoop集群,通过内部节点间监控与反馈机制实现高容错、高吞吐量、高并发效率,提供可靠高效的数据服务,同时Hadoop框架易于扩展,读写性能良好。因此采用Hadoop作为构建海陆一体空间数据共享服务的基础框架是一种行之有效的方案。论文的主要研究内容如下：首先,本文分析了在互联网发展迅速的背景下,科技促进传统地理学衍生出虚拟地理环境概念,而获取地理数据的手段日渐丰富,采集的数据逐渐增多,在此种情形下,传统数据共享方式受到限制,而国内外均开始研发基于海量数据的虚拟信息系统,基于此本文提出基于Hadoop的海量空间数据存储方案,作为构建海陆一体空间数据共享服务的技术支持。其次,本文分析了空间数据中数据量最大的影像数据的存取需求,提出构建影像金字塔为用户提供高效流畅数据调取服务,基于Hadoop的MapReduce并行编程模型构建影像金字塔,为达到高效管理的目的将数据按自定义格式进行组织。针对互联网高并发的特性,提出利用Nginx搭建数据共享服务以满足数据访问时的负载均衡。然后,本文对地理信息数据中专题数据进行存储与计算模型研究,并以城市公交数据为例研究数据的信息处理。基于Hadoop的数据库HBase对公交数据进行存储,设计了专题数据查询的Map/Reduce算法,提取并分析专题数据信息。
【关键词】：分布式存储 影像金字塔 并行计算 专题数据 行程速度
【学位授予单位】：中国海洋大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：P208
【目录】：

• 摘要5-7
• Abstract7-11
• 第一章 绪论11-17
• 1.1 选题背景与意义11-13
• 1.2 国内外研究现状13-15
• 1.3 论文组织结构15-17
• 第二章 Hadoop框架关键技术分析17-28
• 2.1 Hadoop简介17-18
• 2.2 Hadoop关键技术18-27
• 2.2.1 HDFS18-21
• 2.2.2 MapReduce21-23
• 2.2.3 HBase23-27
• 2.4 本章小结27-28
• 第三章 地理信息影像数据存储28-40
• 3.1 影像数据分析28-30
• 3.1.1 设计要求28-29
• 3.1.2 体系结构29-30
• 3.2 影像金字塔构建30-38
• 3.2.1 影像金字塔技术30-33
• 3.2.2 基于MapReduce的并行构建方法33-36
• 3.2.3 影像数据存储与检索36-37
• 3.2.4 影像数据共享实例37-38
• 3.3 本章小结38-40
• 第四章 地理信息专题数据计算40-51
• 4.1 专题数据行键模型设计40-41
• 4.2 基于MapReduce的K-Means的专题数据聚类分析41-46
• 4.3 城市专题数据分析46-50
• 4.3.1 专题数据研究价值46-48
• 4.3.2 专题数据主表设计48-49
• 4.3.3 专题公交数据实例49-50
• 4.4 本章小结50-51
• 第五章 基于Nginx的负载均衡策略51-54
• 5.1 Nginx简介51
• 5.2 Nginx配置51-54
• 第六章 总结与展望54-57
• 6.1 总结54-55
• 6.2 展望55-57
• 参考文献57-60
• 致谢60-61
• 个人简历61

【参考文献】

中国期刊全文数据库 前10条

1 夏英;杨选伦;;云环境中基于金字塔模型的影像数据存储方法[J];重庆邮电大学学报(自然科学版);2012年06期

2 姜桂艳;常安德;李琦;伊峰;;基于出租车GPS数据的路段平均速度估计模型[J];西南交通大学学报;2011年04期

3 林丽丽;;使用高性能Web服务器Nginx实现开源负载均衡[J];大众科技;2010年07期

4 程承旗;张恩东;万元嵬;宋树华;;遥感影像剖分金字塔研究[J];地理与地理信息科学;2010年01期

5 马琪;谢忠;;海量栅格地理数据的组织与调度[J];地理与地理信息科学;2008年06期

6 黄勇奇;赵追;徐幸福;;4D产品的空间数据库结构设计[J];地球科学与环境学报;2006年03期

7 刘露;祁羽;陈荦;景宁;;基于非均匀划分的分布式影像数据索引方法[J];计算机工程与科学;2006年08期

8 余粉香;王光霞;万刚;;大数据量遥感影像的快速调度与显示[J];海洋测绘;2006年02期

9 宋江洪,赵忠明;图像分块分层结构在海量数据处理中的应用[J];计算机工程与应用;2004年33期

10 姜学智,李忠华;国内外虚拟现实技术的研究现状[J];辽宁工程技术大学学报;2004年02期

中国重要会议论文全文数据库 前1条

1 沙云飞;曹瑾鑫;史其信;;基于GPS的路段旅行时间和速度估计算法研究[A];第一届中国智能交通年会论文集[C];2005年

  本文关键词：Hadoop架构下地理信息存储与计算关键技术研究，，由笔耕文化传播整理发布。

本文编号：388115