基于Hadoop和Mapnik的矢量数据渲染技术研究

发布时间：2017-03-21 18:06

  本文关键词：基于Hadoop和Mapnik的矢量数据渲染技术研究，，由笔耕文化传播整理发布。

【摘要】：随着对地观测技术如全球定位导航系统、卫星遥感与航空勘测、传感器网络的进步,地理空间数据的获取手段日益先进。伴随着GIS在上世纪九十年代以来的迅猛发展,地理空间数量庞大、类型繁多和结构复杂的特点愈加明显。测绘地理信息部门拥有名副其实的大数据,仅西部测图工程的成果,数据量就达到13.4TB。如何高效合理地存储和处理GIS大数据、如何提升地图渲染性能以增强地理空间数据提供实时服务的效能、如何满足政府对于地理空间信息的新需求和技术支撑需求,直接关系到测绘地理信息部门的发展前景。Apache推出的Hadoop是目前得到广泛应用的大数据处理平台,具有高可靠性、高效性、高容错性、高效性的优点,支持PB级别数据的储存与处理。本文在基于HBase存储与处理空间矢量数据、基于MapReduce划分空间矢量数据和分布式渲染空间矢量数据方面进行了较为深入的应用研究工作,完成的主要工作具体如下:(1)基于HBase行键、列族的原理与特征,设计了能够存储和查询空间矢量数据的HBase表单格式;(2)结合HBase对输入数据类型的要求,提出了多线程条件下空间矢量数据导入HBase算法“MultiThreadInsertToHBase”,并通过编程方式实现了基于HBase的空间矢量数据多线程导入方法;(3)结合HBase支持MapReduce对其进行分布式计算操作的特性,提出了基于MapReduce和GeoTools的空间矢量数据分块算法“MapReduceDivideToShp”,实现了将HBase中的空间矢量数据按照设定条件划分成若干个较小的Shapefile格式的矢量数据文件;(4)分析和讨论了开源渲染引擎Mapnik的内在渲染机制及其相关API使用方法的细节,在搭建Hadoop实验集群的基础上,将其改造成为面向空间矢量数据渲染的Hadoop实验集群,实现了基于该实验集群的空间矢量数据的分布式渲染,提高了渲染效率。实验结果表明,基于HBase存储与处理空间矢量数据是完全可行的,对空间矢量数据的分布式渲染能够显著提升较大规模空间矢量数据的渲染效率。
【关键词】：Hadoop HBase表格式 矢量数据分块 Mapnik 分布式渲染
【学位授予单位】：兰州交通大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：P208
【目录】：

• 摘要4-5
• Abstract5-10
• 1 绪论10-17
• 1.1 研究背景和意义10-11
• 1.2 研究现状11-14
• 1.2.1 Hadoop的研究和应用现状11-13
• 1.2.2 Hadoop在空间数据上的研究和应用现状13-14
• 1.3 论文主要工作和结构安排14-17
• 1.3.1 论文的主要工作14-16
• 1.3.2 论文的结构安排16-17
• 2 关键技术概述17-35
• 2.1 分布式计算平台Hadoop17-20
• 2.1.1 Hadoop简介17
• 2.1.2 Hadoop生态系统17-19
• 2.1.3 Hadoop拓扑结构特征—主从式架构19
• 2.1.4 Hadoop典型部署方式19-20
• 2.2 HDFS文件系统及其Java API20-22
• 2.2.1 HDFS设计特点20
• 2.2.2 HDFS架构20-22
• 2.2.3 HDFS中存取机制22
• 2.3 并行计算框架MapReduce简介22-27
• 2.3.1 MapReduce编程模型22-23
• 2.3.2 Hadoop MapReduce架构23-25
• 2.3.3 Hadoop MapReduce工作流程25-27
• 2.4 分布式数据库HBase及其Java API27-31
• 2.4.1 HBase表格概念27-28
• 2.4.2 HBase架构28-30
• 2.4.3 HBase接.介绍30-31
• 2.5 Mapnik渲染引擎概述31-35
• 2.5.1 渲染对象数据组织结构32-33
• 2.5.2 Mapnik渲染机制架构33-35
• 3 基于HBase的空间矢量数据存储表格设计35-44
• 3.1 相关知识概述35
• 3.1.1 空间数据简介35
• 3.1.2 矢量数据简介35
• 3.2 HBase对于空间矢量数据的适用性35-37
• 3.2.1 关系型数据库与空间矢量数据35-36
• 3.2.2 HBase与空间矢量数据36-37
• 3.3 矢量数据存储表格设计37-44
• 3.3.1 行键的设计37-39
• 3.3.2 列族的设计39-40
• 3.3.3 列族的分类40-44
• 4 基于Hadoop的空间矢量数据存储和分块方案设计44-68
• 4.1 Shapefile格式空间数据简介44
• 4.2 空间数据处理工具GeoTools简介44-47
• 4.2.1 GeoTools架构与数据格式支持44-46
• 4.2.2 安装及使用方法46-47
• 4.3 数据转换流程分析47-52
• 4.3.1 从Shapefile文件到符合WKT标准的矢量要素数据47-50
• 4.3.2 从符合WKT标准的矢量要素数据到Shapefile文件50-52
• 4.4 空间矢量数据存储和分块方法52-58
• 4.4.1 多线程条件下基于HBase的空间矢量数据插入方法53-55
• 4.4.2 基于MapReduce和GeoTools的空间数据分块方法55-58
• 4.5 实验及结果展示分析58-68
• 4.5.1 实验集群搭建流程简述58-65
• 4.5.2 数据源简述65
• 4.5.3 基于HBase的矢量数据分布式存储结果65-66
• 4.5.4 基于MapReduce和GeoTools的矢量数据划分结果66-68
• 5 基于Hadoop和Mapnik的分布式渲染方案设计68-86
• 5.1 Mapnik渲染机制与流程分析68-70
• 5.2 面向空间数据渲染的Hadoop系统架构70
• 5.3 基于Hadoop和Mapnik的分布式渲染方法70-76
• 5.3.1 Mapnik在Hadoop集群中的安装和配置方法70-72
• 5.3.2 关于Mapnik Java API的说明72-74
• 5.3.3 分布式渲染及可视化方案设计74-76
• 5.4 分布式渲染实验76-86
• 5.4.1 实验成果展示78-79
• 5.4.2 渲染性能对比分析79-86
• 6 结论86-88
• 致谢88-89
• 参考 文献89-92
• 攻读学位期间的研究成果92

【相似文献】

中国期刊全文数据库 前10条

1 谭国律;唐金秀;;矢量数据的优化压缩研究[J];测绘通报;2010年04期

2 李菲;;城市基础矢量数据组织与处理研究[J];科技资讯;2011年18期

3 郭明强;谢忠;黄颖;;集群并发环境下大规模矢量数据负载均衡算法[J];武汉大学学报(信息科学版);2013年09期

4 杨得志,王杰臣,闾国年;矢量数据压缩的Douglas-Peucker算法的实现与改进[J];测绘通报;2002年07期

5 杨靖宇;戴晨光;张永生;;利用模板阴影体算法实现矢量数据在三维场景中的绘制[J];海洋测绘;2008年06期

6 阎晓东;戴晨光;杨靖宇;;基于模板阴影体原理的3维矢量数据绘制算法[J];测绘科学技术学报;2008年01期

7 陈飞翔;李华;于文洋;;基于多实体的矢量数据压缩改进算法[J];计算机工程与应用;2008年19期

8 盖素丽;王娜;;三维地形仿真中矢量数据的精确高效绘制方法研究[J];河北省科学院学报;2008年03期

9 巨正平;王勇;郭广礼;齐建伟;;附有限制条件的逐点压缩算法的设计与实现[J];测绘通报;2009年04期

10 林冰仙;闾国年;李安波;;GIS矢量数据多功能版权保护研究[J];测绘通报;2009年07期

中国重要会议论文全文数据库 前10条

1 蔡娟娟;;从矢量数据入库前整理探讨历史数据的改造模式[A];广东省测绘学会第八次会员代表大会学术交流论文集[C];2005年

2 郭忠胜;金澄;黄利民;;地图矢量数据裁剪方法研究[A];地理空间信息技术与应用——中国科协2002年学术年会测绘论文集[C];2002年

3 阚映红;窦武兴;郭健;邵士新;;矢量数据拓扑化过程中数据错误的纠正[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年

4 谭吉学;曹文利;;矢量数据压缩方法研究[A];第二届“测绘科学前沿技术论坛”论文精选[C];2010年

5 曹培国;刘天光;于广婷;;多批次影像与矢量数据配准的实现[A];山东省“数字国土”学术交流会论文集[C];2007年

6 卢健;何正国;;Web GIS的若干关键技术以及实现[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年

7 刘丹丹;张春玲;;CAD下矢量数据的几何纠正研究[A];中国测绘学会第九次全国会员代表大会暨学会成立50周年纪念大会论文集[C];2009年

8 张德胜;冯登国;;BeyonDB:一种地理空间数据库矢量数据授权与实现[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年

9 余咏胜;王晶;;矢量数据与栅格影像坐标变换一致性方法探讨[A];2006年测绘新技术应用交流会论文集[C];2006年

10 蔡娟娟;;浅谈建立基础空间数据库1万矢量数据库基于Oracle+ArcSDE+Personal Geodatabase空间数据管理技术创建矢量库[A];广东省测绘学会第八次会员代表大会学术交流论文集[C];2005年

中国重要报纸全文数据库 前2条

1 陈妍　乔嘉佳;哈尔滨又添测绘地信科普平台[N];中国测绘报;2014年

2 超图软件石油石化事业部经理 郑占国;让石油管道“动起来”[N];计算机世界;2011年

中国博士学位论文全文数据库 前4条

1 王刚;顾及要素特征的层次增量分块矢量数据组织与高效网络传输研究[D];武汉大学;2011年

2 崔树林;基于GPU的并行矢量数据分析与索引技术研究[D];中国科学院研究生院（东北地理与农业生态研究所）;2014年

3 苗茹;面向WEB可视化的矢量数据流式渐进传输研究[D];河南大学;2014年

4 王姣姣;基于球面DQG的地形与矢量数据自适应集成建模[D];中国矿业大学（北京）;2013年

中国硕士学位论文全文数据库 前10条

1 葛平;协同GIS中矢量数据编辑问题的研究与实践[D];解放军信息工程大学;2008年

2 田军;基于基态修正模型的矢量数据增量更新机制研究[D];北京建筑大学;2015年

3 靳凤营;基于云计算的土地利用矢量数据高效处理技术研究[D];浙江大学;2015年

4 王枫;矢量数据分级显示方法研究[D];中国地质大学(北京);2015年

5 陈欢;地理矢量数据快速可视化技术研究[D];国防科学技术大学;2013年

6 薛纯;基于Hadoop和Mapnik的矢量数据渲染技术研究[D];兰州交通大学;2015年

7 秦斌;移动GIS中矢量数据压缩及传输问题研究[D];昆明理工大学;2010年

8 乔文昊;一种矢量数据快速调度方法的研究[D];北京建筑大学;2013年

9 袁淑芳;城市基础地理信息系统中矢量数据质量控制[D];西南交通大学;2006年

10 张建峰;城市基础GIS矢量数据编辑与更新技术研究[D];江西理工大学;2008年

  本文关键词：基于Hadoop和Mapnik的矢量数据渲染技术研究，由笔耕文化传播整理发布。

本文编号：260065