基于Hadoop的瓦片数据管理研究

发布时间：2020-04-30 06:45

【摘要】：在最近的几十年里,GIS(地理信息系统)技术取得了巨大的进步,应用也日趋广泛和深化。作为GIS数据中的一种重要数据格式,地图瓦片文件的存储与管理也愈发得到人们的关注。早期的GIS运行在单机系统上,主要以文件方式来管理瓦片文件,随着计算机技术和Internet的发展,瓦片文件的管理逐渐走向网络化以及分布式。瓦片地图技术采用了“以空间换取时间”的策略,从而提供快速的地图服务,给用户带来了更好的体验。这种策略带来了磁盘空间浪费、瓦片文件安全性和共享性差等问题。因此针对瓦片文件数据量大,文件小,结构严格等特点,结合Hadoop分布式框架的特性,本文研究并设计了一套基于Hadoop的瓦片文件管理方案。从瓦片文件的组织方式和存储方式对瓦片文件的管理进行研究,在对比分析了目前主流的几种瓦片文件管理方法后,从以下几个方面开展工作:在对瓦片文件结构分析的基础上,设计并实现一套瓦片紧凑方法,将原有的松散瓦片文件转化为紧凑瓦片文件;建立瓦片文件的两级索引机制,为第三方GIS平台或用户访问瓦片文件提供接口;实现瓦片文件在Hadoop中的分布式管理,解决瓦片文件存储中磁盘空间浪费以及安全性和共享性等问题;建立两级瓦片文件访问机制,提供瓦片文件的多并发访问,保证多用户多并发情况下的数据访问稳定。本文探索性地将Hadoop技术引入GIS系统,通过基于Hadoop的云技术和架构提升电子地图瓦片的存储效率、传输效率,设计并实现一种具有创新性的瓦片文件的紧凑型组织方式,并在此基础上发布电子地图瓦片,对外提供基础性云GIS服务,所研发的基于Hadoop架构的GIS云计算与云存储系统具有良好的实用性。
【图文】：

图 1. 1 云计算的基本应用模式图Fig 1.1 The basic application pattern of cloud computing、欧盟、韩国以及日本等发达国家都在大力推动云计台了《联邦云计算战略》，旨在鼓励技术创新，推动这一措施的推行让云计算服务在美国政府单位的各部。与此同时，美国的各个大中型的互联网企业，例如 IBM 等国际龙头公司也在实行自己的云计算计划，并与产品。亚马逊网络服务推出了 DaaS 产品 WorkSpa的 Cloud OS 云操作系统，同年十一月，云计算及跨hnologies 推出针对 System z 的 CA 云存储技术，该技上处理的数据转移到云环境中，并进行备份，，从而降在云计算方面也是走到世界的前列，早在 2012 年 5 月了《通信业“十二五”发展规划》，明确表示将云计算进行建设，推动云服务在各行各业中的应用。目前我

SMS 和文本消息。Social Inboxl 是用来替代上一代决实时的信息服务。Facebook 每个月需要存储 10短期小批量的临时数据以及长期增长但是很少被访择 Hadoop 以及 HBase 主要基于以下特点：的一致性模型比 Cassandra 更简单；列的 key-value 存储系统，擅长用 key 来扫描并获模式，有更好的性能和扩展性；层数据存储使用的是 HDFS，能够提供自动负载平六大存储架构直使用 MySQL 作为存储架构的核心，但是随着数来越繁杂，基于 NoSQL 和分布式的云计算平台更e 的低延时，Twitter 可以为用户提供稳定可靠的实主要使用的存储架构占比如下：
【学位授予单位】：合肥工业大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：P208

【参考文献】

相关期刊论文 前10条

1 李伟;;电子地图在大数据政工领域的应用[J];无线互联科技;2015年13期

2 黎文阳;;大数据处理模型Apache Spark研究[J];现代计算机(专业版);2015年08期

3 董春涛;李文婷;沈晴霓;吴中海;;Hadoop YARN大数据计算框架及其资源调度机制研究[J];信息通信技术;2015年01期

4 宋继红;李梦楠;郝得智;;基于Hadoop分布式文件系统的单点问题的研究[J];软件工程师;2014年12期

5 刘鹏;赵羲;史宜南;;ArcGIS Server平台下地图瓦片存储关键技术研究[J];地理空间信息;2014年05期

6 杨光;;各国云计算产业发展扶持政策盘点[J];计算机与网络;2014年Z1期

7 洪旭升;林世平;;基于MapFile的HDFS小文件存储效率问题[J];计算机系统应用;2012年11期

8 苏旭明;谭建成;;WebGIS中瓦片地图关键技术研究[J];北京测绘;2012年02期

9 蒙琳;张衍毓;;ArcGIS与MapGIS在土地利用规划制图中的比较[J];中国土地科学;2012年04期

10 王晟;赵壁芳;;云计算中MapReduce技术研究[J];通信技术;2011年12期

相关博士学位论文 前1条

1 范建永;基于Hadoop的云GIS若干关键技术研究[D];解放军信息工程大学;2013年

相关硕士学位论文 前10条

1 孙佳丽;Web应用中的客户端缓存技术研究[D];首都经济贸易大学;2016年

2 高宗宝;基于HDFS的海量小文件读写策略研究[D];山东大学;2016年

3 高];基于云计算的GIS数据存储管理研究[D];合肥工业大学;2016年

4 汤辰;基于HDFS的小文件存储方法的研究与应用[D];燕山大学;2015年

5 贾玉辰;Hadoop中海量小文件存取关键技术的研究与实现[D];南京邮电大学;2015年

6 万家雪;Hadoop平台运维关键技术研究与实现[D];北京邮电大学;2015年

7 秦滔;Hadoop分布式架构的研究与实际应用[D];北京邮电大学;2015年

8 每春辉;基于Hadoop的多版本栅格地图存储与管理系统[D];西安电子科技大学;2014年

9 王铮;基于Hadoop的分布式系统研究与应用[D];吉林大学;2014年

10 卢俊华;HDFS存储机制的分析与研究[D];武汉理工大学;2014年

本文编号：2645499