面向矢量瓦片的高效空间数据处理技术的研究与实现

发布时间：2020-06-09 04:40

【摘要】：随着地图测绘技术的发展,原始地图数据量呈现爆炸式增长,对地图数据处理的空间及时间效率提出了更高需求。面对此需求,提出了面向矢量瓦片的矢量数据高效并行切片技术,在海量矢量数据的高效处理上,本课题提出了一种可行的方法,实验结果表明,此并行处理技术在提高矢量数据切片效率上有显著效果。首先,本文从矢量数据模型以及矢量要素处理策略两方面对矢量切片策略进行了研究,确定了面向分布式的矢量数据存储模型以及分别针对点线面空间实体要素的处理策略。在此基础上,本文对矢量瓦片的高性能存储模型、矢量数据并行处理方法以及基于Map-Reduce的并行处理支撑技术进行了研究。基于上述模型、策略、算法的研究,本文提出了矢量瓦片高效处理服务的总体架构,分别从底层支撑平台、中间服务层设计以及应用层多线程/进程的执行设计三个方面进行描述,并在文中设计了矢量数据、矢量瓦片的存储模型,分布式并行切片方案以及作为适配的矢量瓦片上传服务实现。最后,本文进行了传统切图实验以及多机并行切图实验,并对实验结果进行对比分析。本课题的实验数据源为原始地图矢量数据,矢量数据经过切片以及瓦片服务上传至数据存储平台(Hbase)进行显示,而传统的切片工具,海量矢量数据切图往往需要数周甚至更多的时间,那么针对矢量数据特性进行合理的任务划分,通过并行分布式处理服务进行分布式切图,并且在服务端进行并行上传,可以大幅度提升矢量数据整体处理效率。
【图文】：

步骤［４］。逡逑目前本研宄室的矢量数据切片系统主要采取基于本地和基于服务器两种架逡逑构设计，如下图１．２所示：逡逑／逦７逦＜ｒ—逡逑／本地磁盘逡逑Ｌ邋■逦Ｉ数据库服务器逡逑丨瓦片切分Ｉ逡逑Ｉ逡逑逦＾落 逦逡逑与用户ｙ逡逑互显不逡逑＜＃逡逑图１．２矢量数据切片系统简要架构逡逑从上图可以发现，用户端显示的情况下，当矢量及瓦片数据存储于本地磁盘逡逑时，客户端从本地磁盘获取数据读入本地内存；当矢量及瓦片数据存储于服务器逡逑时，，客户端从服务器上获取数据读入本地内存。用户会经常进行交互操作：漫游、逡逑２逡逑

步骤［４］。逡逑目前本研宄室的矢量数据切片系统主要采取基于本地和基于服务器两种架逡逑构设计，如下图１．２所示：逡逑／逦７逦＜ｒ—逡逑／本地磁盘逡逑Ｌ邋■逦Ｉ数据库服务器逡逑丨瓦片切分Ｉ逡逑Ｉ逡逑逦＾落 逦逡逑与用户ｙ逡逑互显不逡逑＜＃逡逑图１．２矢量数据切片系统简要架构逡逑从上图可以发现，用户端显示的情况下，当矢量及瓦片数据存储于本地磁盘逡逑时，客户端从本地磁盘获取数据读入本地内存；当矢量及瓦片数据存储于服务器逡逑时，客户端从服务器上获取数据读入本地内存。用户会经常进行交互操作：漫游、逡逑２逡逑
【学位授予单位】：中国电子科技集团公司电子科学研究院
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP311.13;P208

【相似文献】

相关期刊论文 前10条

1 张翼然;陶迎春;贾光军;刘光;左效刚;;多源矢量数据一致性处理研究[J];北京测绘;2019年09期

2 楚潇蓉;逯跃锋;陈坤;陆黎娟;范俊甫;;基于支持向量机与尺度不变特征转换算法相结合的线状矢量数据匹配方法[J];科学技术与工程;2019年28期

3 侯恩兵;朱清;李斌;郝苗;;天地图融合矢量数据与母库双向增量的自动同步[J];测绘科学;2018年07期

4 刘达;曹鹏;张涛;李德元;;基于有权实体组合的矢量数据智能符号化方法研究[J];测绘与空间地理信息;2018年10期

5 朱晓波;周廷刚;曾波;沈敬伟;潘勇卓;丁彤彤;;顾及空间邻接关系的多级河流线状矢量数据并行压缩算法[J];西南大学学报(自然科学版);2017年02期

6 周晓光;汪红松;吴志强;;引入二维交细分类型的地表覆盖矢量数据增量更新[J];测绘学报;2017年01期

7 李鸿宇;卢小平;王志军;豆喜朋;;动态矢量数据与在线地图的实时发布与实现[J];测绘通报;2017年04期

8 胡开;;基于模糊集的小多边形处理——以林地年度变更矢量数据融合为例[J];绿色科技;2016年06期

9 余树影;翟群英;苟卫涛;李宏建;;军测矢量数据到国测矢量数据转换方法探讨[J];现代测绘;2014年06期

10 操震洲;李满春;程亮;陈振杰;;矢量数据渐进传输系统的研究与实现[J];计算机应用与软件;2013年10期

相关会议论文 前10条

1 冉菊;;浅谈“天地图·云南”矢量数据融合的过程质量控制[A];云南省测绘地理信息学会2016年学术年会论文集[C];2016年

2 张君兰;余先川;;基于整数小波变换和位平面编码的矢量数据压缩[A];地球资源环境定量化理论与应用——2009年全国数学地球科学与地学信息学术会议论文集[C];2009年

3 郭忠胜;金澄;黄利民;;地图矢量数据裁剪方法研究[A];地理空间信息技术与应用——中国科协2002年学术年会测绘论文集[C];2002年

4 余咏胜;王晶;;矢量数据与栅格影像坐标变换一致性方法探讨[A];2006年测绘新技术应用交流会论文集[C];2006年

5 谭吉学;曹文利;;矢量数据压缩方法研究[A];第二届“测绘科学前沿技术论坛”论文精选[C];2010年

6 伍艳;;ArcGIS平台矢量数据主要空间校正方法应用与比较[A];第十三届全国数学地质与地学信息学术研讨会论文集[C];2014年

7 曹培国;刘天光;于广婷;;多批次影像与矢量数据配准的实现[A];山东省“数字国土”学术交流会论文集[C];2007年

8 阚映红;窦武兴;郭健;邵士新;;矢量数据拓扑化过程中数据错误的纠正[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年

9 舒跃国;郑军;;基于卫星影像的地理信息系统研究与开发[A];四川省通信学会2010年学术年会论文集[C];2010年

10 张金颂;;水土保持地理信息系统矢量数据输入应用研究[A];福建省水土保持学会2006年学术年会论文集[C];2006年

相关重要报纸文章 前9条

1 记者 韦绍宁;设计合理 功能齐全[N];中国测绘报;2001年

2 李响;探路“互联网+”督察[N];中国国土资源报;2015年

3 ;建立省级基础地理信息系统示范工程研究[N];中国测绘报;2000年

4 吉林省交通运输厅;构建智慧平台 服务公众出行[N];中国交通报;2013年

5 李薇;数字西宁建设传捷报[N];中国测绘报;2003年

6 熊小青;数字儋州建设取得新进展[N];中国测绘报;2010年

7 记者 黄新燕 方艳;群策群力攻难关[N];中国测绘报;2000年

8 沈占锋;遥感影像信息提取与分析[N];计算机世界;2006年

9 葛洪涛;测绘为公路建设服务[N];中国测绘报;2004年

相关博士学位论文 前10条

1 冯浩;多因素综合优化的矢量数据三维几何绘制的研究[D];武汉大学;2014年

2 王刚;顾及要素特征的层次增量分块矢量数据组织与高效网络传输研究[D];武汉大学;2011年

3 王玉海;地理信息服务中数据传输的策略研究[D];解放军信息工程大学;2008年

4 周经纬;矢量大数据高性能计算模型及关键技术研究[D];浙江大学;2016年

5 苗茹;面向WEB可视化的矢量数据流式渐进传输研究[D];河南大学;2014年

6 范建永;基于Hadoop的云GIS若干关键技术研究[D];解放军信息工程大学;2013年

7 操震洲;矢量数据动态多尺度网络传输研究[D];南京大学;2015年

8 朱蕊;多源空间矢量数据一致性处理技术研究[D];解放军信息工程大学;2012年

9 郭黎;多源地理空间矢量数据融合理论与方法研究[D];解放军信息工程大学;2008年

10 马伯宁;空间数据多尺度建模关键技术研究[D];国防科学技术大学;2014年

相关硕士学位论文 前10条

1 陈琦;大型地理数据预处理技术的研究与实现[D];中国石油大学(北京);2018年

2 李瀚;面向矢量瓦片的高效空间数据处理技术的研究与实现[D];中国电子科技集团公司电子科学研究院;2019年

3 黄磊;基于ETL技术的交通矢量数据要素匹配与更新研究[D];湖南师范大学;2019年

4 冯彦磊;矢量数据建库与成图关联规则研究及应用[D];战略支援部队信息工程大学;2017年

5 余利峰;面向分布式空间数据库的矢量数据存储与查询处理关键技术研究[D];浙江大学;2018年

6 俞丽君;适应多尺度显示的矢量瓦片并行化构建方法[D];浙江大学;2018年

7 杜永葛;矢量数据校正工具集的设计与实现[D];北京建筑大学;2017年

8 乔文昊;一种矢量数据快速调度方法的研究[D];北京建筑大学;2013年

9 张润贤;大规模矢量数据网络渐进式传输的方法研究[D];中国地质大学(北京);2012年

10 秦斌;移动GIS中矢量数据压缩及传输问题研究[D];昆明理工大学;2010年

本文编号：2704176