基于ETL技术的交通矢量数据要素匹配与更新研究

发布时间：2020-05-06 18:22

【摘要】：如今,科学研究已发展到数据密集型范式,大数据时代的到来给数据处理带来了多重挑战。交通矢量数据具有来源广泛、类型繁多、结构复杂、精度不一等特点,其多源异构性对数据匹配提出了挑战。本文旨在针对不同的交通矢量数据类型,建立有效的交通矢量要素匹配方法,探讨交通矢量要素增量更新机制。对国家基础地理信息数据库中交通矢量数据的建设与维护具有一定价值与意义。主要的工作包括:(1)建立交通矢量数据抽取转换模板首先,比较分析交通矢量数据在分类分层、数据格式、属性编码等方面的差异性,对比交通矢量数据差异并参照交通矢量数据标准规范,选用数据仓库模式对交通矢量数据进行抽取转换。利用ETL技术辅助建立交通矢量数据抽取转换模板,构建交通矢量母库。(2)实现交通矢量数据要素匹配其次,采用要素匹配算法实现交通矢量数据要素匹配,得到相互匹配的交通要素。根据匹配度划分为高匹配、中匹配、低匹配及不匹配等多种匹配类型。在几何匹配的基础上,对相互匹配的交通矢量要素进行属性传递,完善交通矢量数据的相关属性。交通矢量数据匹配包括几何特征匹配和属性特征传递。(3)探讨交通矢量数据增量更新方案最后,提取要素匹配时得到的差异数据,作为增量交通数据。对提取的增量交通数据,依据要素类型与匹配类型提出多种交通矢量数据更新方案。实现不同来源或不同年份版本交通矢量数据的增量更新研究,探讨交通矢量数据联动更新机制。研究结果表明:利用ETL技术,依据交通矢量数据标准规范建立了交通矢量数据抽取转换模板。基于几何相似性度量指标,实现了交通矢量数据的几何特征匹配,进而对匹配要素的属性进行了传递。运用ETL空间分析功能提取增量数据,对不同来源或不同时间版本交通矢量数据进行增量更新。基于ETL技术的数据抽取转换效率高,减少人工干预影响,为交通专题图提供数据支持与应用服务。
【图文】：

则是一种矢量图形格式，可以存储几何图形的位置及相其他公司产品之间实现数据互操作，是矢量要素的常文选用 GDB、SHP 格式作为交通矢量数据操作格式文件格式，以纯文本形式存储数字和文本等表格数据，台上传数据的重要数据格式，因此，选用 CSV 格式作的中间格式。矢量数据存储和操作的数据格式后，须将其它格式数格式或云平台交换格式，或在上述格式之间根据需要格式转换上，已有相当多的文献研究可供参考及成熟 GeoKettle 工具进行数据格式转换，数据格式转换示意 GDB2CSV（GDB 转 CSV），b 图为 GDB2SHP，，c 图为DB，e 图为 CSV2SHP，f 图为 CSV2GDB。上述数据格逆向运行，转换步骤简单。

硕士学位论文（2）坐标转换2018 年 12 月 14 日，自然资源部发布了《关于停止提供 1954 年北京坐标系和 1980 西安坐标系基础测绘成果的公告》。公告自 2019 年 1 月 1 日起执行，并全面推行使用 2000 国家大地坐标系［51］。因此，目前基础测绘成果所用坐标系应为 2000 国家大地坐标系，但依然存在某些行业部门数据使用 WGS-84 坐标系。根据交通矢量数据实际情况，须实现 WGS-84 坐标系向 2000 国家大地坐标系的转换。通过设置空间参考系，进行坐标系转换，坐标系转换示意图见图 2-2，图中显示，在坐标系转换工具中可通过 EPSG 代码或选择 WKT（空间参考系统文字描述）进行坐标系转换。
【学位授予单位】：湖南师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：P208;U11-39

【相似文献】

相关期刊论文 前10条

1 张翼然;陶迎春;贾光军;刘光;左效刚;;多源矢量数据一致性处理研究[J];北京测绘;2019年09期

2 侯恩兵;朱清;李斌;郝苗;;天地图融合矢量数据与母库双向增量的自动同步[J];测绘科学;2018年07期

3 刘达;曹鹏;张涛;李德元;;基于有权实体组合的矢量数据智能符号化方法研究[J];测绘与空间地理信息;2018年10期

4 朱晓波;周廷刚;曾波;沈敬伟;潘勇卓;丁彤彤;;顾及空间邻接关系的多级河流线状矢量数据并行压缩算法[J];西南大学学报(自然科学版);2017年02期

5 周晓光;汪红松;吴志强;;引入二维交细分类型的地表覆盖矢量数据增量更新[J];测绘学报;2017年01期

6 李鸿宇;卢小平;王志军;豆喜朋;;动态矢量数据与在线地图的实时发布与实现[J];测绘通报;2017年04期

7 胡开;;基于模糊集的小多边形处理——以林地年度变更矢量数据融合为例[J];绿色科技;2016年06期

8 余树影;翟群英;苟卫涛;李宏建;;军测矢量数据到国测矢量数据转换方法探讨[J];现代测绘;2014年06期

9 操震洲;李满春;程亮;陈振杰;;矢量数据渐进传输系统的研究与实现[J];计算机应用与软件;2013年10期

10 胡晨希;;面向大场景3维可视化的矢量数据组织研究[J];测绘与空间地理信息;2013年06期

相关会议论文 前10条

1 冉菊;;浅谈“天地图·云南”矢量数据融合的过程质量控制[A];云南省测绘地理信息学会2016年学术年会论文集[C];2016年

2 张君兰;余先川;;基于整数小波变换和位平面编码的矢量数据压缩[A];地球资源环境定量化理论与应用——2009年全国数学地球科学与地学信息学术会议论文集[C];2009年

3 郭忠胜;金澄;黄利民;;地图矢量数据裁剪方法研究[A];地理空间信息技术与应用——中国科协2002年学术年会测绘论文集[C];2002年

4 余咏胜;王晶;;矢量数据与栅格影像坐标变换一致性方法探讨[A];2006年测绘新技术应用交流会论文集[C];2006年

5 谭吉学;曹文利;;矢量数据压缩方法研究[A];第二届“测绘科学前沿技术论坛”论文精选[C];2010年

6 伍艳;;ArcGIS平台矢量数据主要空间校正方法应用与比较[A];第十三届全国数学地质与地学信息学术研讨会论文集[C];2014年

7 曹培国;刘天光;于广婷;;多批次影像与矢量数据配准的实现[A];山东省“数字国土”学术交流会论文集[C];2007年

8 阚映红;窦武兴;郭健;邵士新;;矢量数据拓扑化过程中数据错误的纠正[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年

9 舒跃国;郑军;;基于卫星影像的地理信息系统研究与开发[A];四川省通信学会2010年学术年会论文集[C];2010年

10 张金颂;;水土保持地理信息系统矢量数据输入应用研究[A];福建省水土保持学会2006年学术年会论文集[C];2006年

相关重要报纸文章 前10条

1 记者 韦绍宁;设计合理 功能齐全[N];中国测绘报;2001年

2 李响;探路“互联网+”督察[N];中国国土资源报;2015年

3 ;建立省级基础地理信息系统示范工程研究[N];中国测绘报;2000年

4 本报通讯员 吕剑峰;瞄准需求发力 释放创新活力[N];中国测绘报;2018年

5 吉林省交通运输厅;构建智慧平台 服务公众出行[N];中国交通报;2013年

6 李薇;数字西宁建设传捷报[N];中国测绘报;2003年

7 熊小青;数字儋州建设取得新进展[N];中国测绘报;2010年

8 记者 黄新燕 方艳;群策群力攻难关[N];中国测绘报;2000年

9 沈占锋;遥感影像信息提取与分析[N];计算机世界;2006年

10 葛洪涛;测绘为公路建设服务[N];中国测绘报;2004年

相关博士学位论文 前10条

1 冯浩;多因素综合优化的矢量数据三维几何绘制的研究[D];武汉大学;2014年

2 王刚;顾及要素特征的层次增量分块矢量数据组织与高效网络传输研究[D];武汉大学;2011年

3 王玉海;地理信息服务中数据传输的策略研究[D];解放军信息工程大学;2008年

4 周经纬;矢量大数据高性能计算模型及关键技术研究[D];浙江大学;2016年

5 苗茹;面向WEB可视化的矢量数据流式渐进传输研究[D];河南大学;2014年

6 范建永;基于Hadoop的云GIS若干关键技术研究[D];解放军信息工程大学;2013年

7 操震洲;矢量数据动态多尺度网络传输研究[D];南京大学;2015年

8 朱蕊;多源空间矢量数据一致性处理技术研究[D];解放军信息工程大学;2012年

9 郭黎;多源地理空间矢量数据融合理论与方法研究[D];解放军信息工程大学;2008年

10 马伯宁;空间数据多尺度建模关键技术研究[D];国防科学技术大学;2014年

相关硕士学位论文 前10条

1 黄磊;基于ETL技术的交通矢量数据要素匹配与更新研究[D];湖南师范大学;2019年

2 冯彦磊;矢量数据建库与成图关联规则研究及应用[D];战略支援部队信息工程大学;2017年

3 余利峰;面向分布式空间数据库的矢量数据存储与查询处理关键技术研究[D];浙江大学;2018年

4 俞丽君;适应多尺度显示的矢量瓦片并行化构建方法[D];浙江大学;2018年

5 杜永葛;矢量数据校正工具集的设计与实现[D];北京建筑大学;2017年

6 乔文昊;一种矢量数据快速调度方法的研究[D];北京建筑大学;2013年

7 张润贤;大规模矢量数据网络渐进式传输的方法研究[D];中国地质大学(北京);2012年

8 秦斌;移动GIS中矢量数据压缩及传输问题研究[D];昆明理工大学;2010年

9 周小军;基于球面的矢量数据可视化研究[D];解放军信息工程大学;2010年

10 葛平;协同GIS中矢量数据编辑问题的研究与实践[D];解放军信息工程大学;2008年

本文编号：2651669