GIS领域多源异构数据集成的普适性处理框架研究

发布时间：2020-07-18 07:23

【摘要】：在地理信息系统(GIS)数据处理或者系统开发时,往往会接触到各类GIS以及非GIS数据,进而考虑如何集成到一起使用的问题,所以空间数据集成早已成为一个研究热点。技术层面讲,空间与属性数据集成方面,会遇到各种官方在线等这些数据量不会太大的数据与现有GIS矢量数据集成的问题。地理大数据的兴起,大数据量的地理矢量图斑、影像数据与属性数据集成问题也期待好的解决方案,特别需要注意的是大数据量的矢量属性集成范畴里,时空数据的集成存储有待新的较好方案;多源空间矢量数据集成方面,在WebGIS开发时,一直以来都比较推崇GML统一集成传输格式搭配SVG可视化的解决方案,但是GML冗余性较大,也需要研究新的集成方案,当然本文还有一些其他的场景涉及。综合这两大方面来讲,面向两方面多场景的问题以及常见数据,需要有普遍适用性的数据处理策略与步骤框架,为后续开发做好坚实的底层数据与技术准备。本文提出了多源空间集成存储与处理开发框架,具体研究工作可概括为以下两个方面:(1)空间属性集成方面,针对数据量低的历史统计专题、官方统计数据与矢量空间数据的集成场景,提出了 ArcSDE搭配FME的策略,进行了步骤框架的研究,并在丝绸之路经济平台中得到了应用;针对数据量大的大量矢量图斑、影像属性数据集成场景,提出了非结构化数据库MongoDB结合SequoiaDB的策略,然后以SequoiaDB为底层平台进行了大量矢量图斑、影像属性数据的集成存储和处理方法研究,并对此场景的时空数据集成方法进行了详细研究。最终设计了基于SequoiaDB的海量空间属性数据以及时空数据集成存储平台。(2)多源空间数据集成方面,首先面对开发时的一些特殊场景,涉及了最常见的国内外矢量数据集成和非GIS转化进入GIS两个方面,具体为udb数据集成shp数据和CAD数据集成到GIS数据,分别提出了基于MyFME和ArcMap的简易详细步骤框架;其次面对WebGIS开发时现有基于GML集成传输的解决场景,利用比地理标记语言(GML)更为简洁的统一化集成传输格式-GeoJson,作为新的多源空间数据集成格式,并提出了新的基于GeoJson集成传输策略,搭配百度地图以及AJAX技术可视化的新方案,并最终在移民搬迁系统中得到了应用研究,最后进行了整个框架总结。
【学位授予单位】：陕西师范大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.13;P208
【图文】：

源异构空间数据集成方案分析与实例研究逡逑源异构空间数据集成领域目前比较流行的方案有两种，一种是网格中逡逑形式，另一种是基于统一集成格式的形式，中间件旨在屏蔽对外实现逡逑，只是对外提供调用的接口，目前两方面研宄最多且推崇的分别是基逡逑ＳＡ－ＤＡＩ扩展和ＧＭＬ的解决方法，下面将着重分析二者架构特点以及优逡逑基于ＯＧＳＡ－ＤＡＩ中间件技术实现数据透明访问逡逑格一种共享分布的各种资源，使之成为有机的整体，按需完成任务的逡逑网格体系结构列出其内部的各个组成部分，对各自的功能进行了具体逡逑同时对各类部分所存在的联系进行了详细描述，最后将其进行集成［２２］。逡逑

的空间数据集成处理与开发这一研宄。逡逑本实例以ｍａｐｉｎｆｏ格式的ｃｉｔｉｅｓ和ｓｈｐ格式的ｓｔａｔｅｓ为例，两者没转换为逡逑ＧＭＬ前如图２－６所示：逡逑？邋．邋？逡逑？邋？邋＊；邋？邋＊邋．逡逑图２－６转换为ＧＭＬ前两个文件的显示图逡逑Ｆｉｇ邋．２－６邋Ｔｗｏ邋ｆｉｇｕｒｅ邋ｆｏｒ邋ｍａｐｉｎｆｏ邋ａｎｄ邋ｓｈｐ邋ｆｏｎｎａｔ逡逑首先将两者转换为ＧＭＬ，方法大体两种：手工方式、编程方式，我们采逡逑用编程方式，拿ｃｉｔｉｅｓ来讲，ｊａｖａ核心代码如下：逡逑ｏｇｒ．ＲｅｇｉｓｔｅｒＡｌｌ（）；逡逑ｇｄａｌ．ＳｅｔＣｏｎｆｉｇＯｐｔｉｏｎ（’’ＧＤＡＬ＿ＦＩＬＥＮＡＭＥ—ＩＳ＿ＵＴＦ８ｎ，＂ＹＥＳｎ）；逡逑ｇｄａｌ．ＳｅｔＣｏｎｆｉｇＯｐｔｉｏｎ（ＭＳＨＡＰＥ＿ＥＮＣＯＤＩＮＧＭ，ｍ，）；逡逑ｇｄａｌ．ＳｅｔＣｏｎｆｉｇＯｐｔｉｏｎ（”ＯＧＲ＿ＦＯＲＣＥ＿ＡＳＣｉｒ，”ＮＯ’，）；逡逑ＳｔｒｉｎｇｓｔｒＶｅｃｔｏｒＦｉｌｅ＝’’Ｃ：＼＼ｃｉｔｉｅｓ．ｓｈｐ’’；逡逑ＤａｔａＳｏｕｒｃｅ邋ｄｓ邋＝邋ｏｇｒ．Ｏｐｅｎ（ｓｔｒＶｅｃｔｏｒＦｉｌｅ，０）；逡逑Ｄｒｉｖｅｒ邋ｄｖ邋＝邋ｏｇｒ．ＧｅｔＤｒｉｖｅｒＢｙＮａｍｅ（ｎＧＭＬｆ，）；逡逑ｄｖ．ＣｏｐｙＤａｔａＳｏｕｒｃｅ（ｄｓ

转换过程用到的处理器是Ｘａｌａｎ处理器，需要接收三个参数，第一个逡逑是输入文档名，第二个就是ｘｓｌ文档名，第三个就是生成的ｓｖｇ文档名。编译逡逑运行，最终生成的集成ｕｎｉｏｎ．ｓｖｇ文件，如图２－７所示：逡逑攄逡逑ｒ－Ｊ逦逡逑图２－７集成结果显示的ｓｖｇ逡逑Ｆｉｇ邋．２－７邋ｉｎｔｅｇｒａｔｅｄ邋ｆｉｇｕｒｅ邋ｆｏｒ邋ｓｖｇ邋ｆｏｒｍａｔ逡逑２．２．３多源数据集成辅助方案与实例研究逡逑如Ｓｉｍｉｔｓｉｓ邋Ａ．邋［２７］所言，ＥＴＬ工具专门从多种类、多形式、多来源数据源中抽逡逑取数据，并根据客户需求对数据进行数据清洗，并最终装载到数据仓库。逡逑从ＥＴＬ的整体流程来讲，大体分为数据抽取、数据转换以及清洗、数据装载逡逑三个过程，数据抽取过程是不同领域不同结构抽取数据的过程，这其间的数据不逡逑仅包括关系型数据库中的数据，也包括非结构化数据，如网页数据，地理数据等，逡逑如开源ＥＴＬ工具Ｔａｌｅｎｄ，邋ＦＭＥ就己经全面支持这些功能，而ＥＴＬ在解决多源异构逡逑数据处理的过程中大多是通过元数据管理来解决的；数据转换过程一般是数据格逡逑式的转换，有的可能通过计算手段添加原来没有的字段，数据清洗是对所研宄抽逡逑取转换数据中可能存在一些非准确性数据

【参考文献】

相关期刊论文 前10条

1 白洪伟;吴满意;;基于ArcSDE皖北煤矿应急救援数据库平台研究[J];赤峰学院学报(自然科学版);2015年22期

2 王永红;全思湘;;SuperMap与ArcGIS异构空间数据集成方法研究与实现[J];软件导刊;2015年09期

3 闫俊霞;吴柏翰;;基于ArcSDE智慧物流配送管理信息系统研究[J];邯郸学院学报;2015年02期

4 樊江;蔡中祥;荆晨;;基于ArcSDE和Geodatabase的港口空间数据库构建[J];地理空间信息;2015年03期

5 冯文娟;;基于FME实现CAD到GIS数据格式转换研究及实例[J];煤矿现代化;2015年03期

6 李文全;戴经国;段琢华;李丹;;异构环境下的GML空间数据高效集成研究[J];计算机应用与软件;2015年05期

7 秦强;王晏民;黄明;;基于MongoDB的海量遥感影像大数据存储[J];北京建筑大学学报;2015年01期

8 于艳超;许捍卫;杜婵娟;;基于DWGDirect的CAD到GIS数据转换研究[J];地理空间信息;2015年01期

9 郑江;闫世浩;陈宝枝;吴小东;;基于DWGdirect.NET与ArcGIS Engine的CAD地形图转换[J];测绘与空间地理信息;2015年02期

10 李伙友;吴善和;;DWG与SHP数据格式互转换方法研究——以龙岩规划测绘数据为例[J];集美大学学报(自然科学版);2015年01期

相关硕士学位论文 前1条

1 任俊儒;基于FME的GIS数据处理研究[D];中国地质大学(北京);2015年

本文编号：2760593