规则引擎驱动下的国土空间大数据清洗方法研究
发布时间：2021-02-27 09:00
信息化的不断发展为国土部门积累了大体量的、具有丰富价值的空间数据。近年来,推动国土大数据建设,实现国土与测绘、地质环境等部门的资源数据共享一直是国家政策热点和国土部门的工作重心。实现数据规范统一是数据共享的前提,而国土数据种类多、结构复杂、标准不一、多源多时相的数据特征给共享及统一应用造成了巨大阻碍。数据质量研究领域中的数据清洗技术能够解决这一问题。而传统数据清洗方法一方面大多采用硬编码方式设计,灵活的低;另一方面大多基于单机计算架构,难以支撑大体量数据的清洗需求。数据清洗中应用最广泛的Drools规则引擎存在计算效率低下和规则与后台编码耦合度太高的问题,并且缺乏借助大数据技术手段对数据空间几何部分进行清洗的清洗方法。本文分析了国土空间大数据现状特征及国土大数据应用对于数据清洗的需求,提出了一种规则引擎驱动下的国土空间大数据清洗方法。方法基于ArcSDE数据结构及SDELOB压缩方式的分析结果,编码实现了一种利用MapReduce并行大数据计算框架的国土空间大数据集成转换算法,实现关系型空间数据库中数据向国土空间大数据池的高效集成转换。基于集成转换后的数据,通过定义国土空间大数据清洗规...
【文章来源】：云南师范大学云南省
【文章页数】：82 页
【学位级别】：硕士
【部分图文】：
Rete算法原理图
第二章 大数据技术与国土大数据概况数据获取方案[46-47]。而若采用 HDFS 文件存储则只能将栅格数据原原本本存储，提供栅格数据的原始备份，无法使其能够直接支撑进行涉及栅格信息的大数据计算。对于矢量数据，由于其记录间独立、字段结构化的特点，针对覆盖范围广、构成点多或字段记录多的大体量矢量数据，HDFS 文件形式可以作为其在大数据环境中的原始备份数据和基本应用数据。由于 GeoDatabase 数据模型是 ArcGIS基于关系型数据库制定的的数据组织压缩方案，因此将矢量数据存入 HDFS 必须要确定一种符合 HDFS 存储要求、按行划分的能够将空间、非空间信息全部展示的 Key/Value 数据结构的存储格式。
第二章 大数据技术与国土大数据概况者也能根据其掌握的 SQL 知识进行大数据查询计算；提供大数据文件映射到表的功能，扩展性良好。相应，Hive 同样具备着 HDFS 存在的仅适用于高延迟静态批处理，实时访问性能差，并且 Hive 提供的 SQL 数量少于标准 SQL，其表达能力有限。
【参考文献】：
期刊论文
[1]云环境下海量空间矢量数据并行划分算法[J]. 姚晓闯,杨建宇,李林,叶思菁,郧文聚,朱德海. 武汉大学学报(信息科学版). 2018(07)
[2]基于HBase的海量GIS数据分布式处理实践[J]. 李雪梅,邢俊峰,刘大伟,王海洋,刘玮. 大数据. 2016(03)
[3]Hadoop支持下的地理信息大数据处理技术初探[J]. 王凯,曹建成,王乃生,郭朝阳,张哲. 测绘通报. 2015(10)
[4]基于任务合并的并行大数据清洗过程优化[J]. 杨东华,李宁宁,王宏志,李建中,高宏. 计算机学报. 2016(01)
[5]基于HBase和GeoTools的矢量空间数据存储模型研究[J]. 郑坤,付艳丽. 计算机应用与软件. 2015(03)
[6]基于规则引擎与空间聚类分析的多源地震灾情数据清洗策略研究[J]. 郭红梅,陈维锋,张莹,申源. 震灾防御技术. 2015(04)
[7]大数据GIS[J]. 李清泉,李德仁. 武汉大学学报(信息科学版). 2014(06)
[8]基于Map-Reduce的大数据实体识别算法[J]. 霍然,王宏志,朱鎔,李建中,高宏. 计算机研究与发展. 2013(S2)
[9]支持演化规则引擎的Rete算法研究[J]. 武丹凤,曾广平,闫京颖. 计算机应用研究. 2013(06)
[10]数据清洗及其一般性系统框架[J]. 曹建军,刁兴春,陈爽,邵衍振. 计算机科学. 2012(S3)
硕士论文
[1]面向农业领域知识库构建的数据清洗方法优化研究[D]. 盛丹丹.中国农业科学院 2016
[2]基于Spark的大数据清洗框架设计与实现[D]. 金翰伟.浙江大学 2016
[3]直接访问ArcSDE空间数据模型的技术方法研究[D]. 周龙廷.华东师范大学 2011
[4]基于MapReduce的分布式规则匹配系统的研究与实现[D]. 张琦.浙江大学 2011
[5]基于Hadoop的海量影像数据管理关键技术研究[D]. 霍树民.国防科学技术大学 2010
[6]基于规则的数据处理系统[D]. 屈志勇.吉林大学 2009
[7]基于Java规则引擎的动态数据清洗研究与设计[D]. 曹永亮.武汉理工大学 2008
[8]数据清洗的若干关键技术研究[D]. 包从剑.江苏大学 2007
本文编号：3053998
【文章来源】：云南师范大学云南省
【文章页数】：82 页
【学位级别】：硕士
【部分图文】：
Rete算法原理图
第二章 大数据技术与国土大数据概况数据获取方案[46-47]。而若采用 HDFS 文件存储则只能将栅格数据原原本本存储，提供栅格数据的原始备份，无法使其能够直接支撑进行涉及栅格信息的大数据计算。对于矢量数据，由于其记录间独立、字段结构化的特点，针对覆盖范围广、构成点多或字段记录多的大体量矢量数据，HDFS 文件形式可以作为其在大数据环境中的原始备份数据和基本应用数据。由于 GeoDatabase 数据模型是 ArcGIS基于关系型数据库制定的的数据组织压缩方案，因此将矢量数据存入 HDFS 必须要确定一种符合 HDFS 存储要求、按行划分的能够将空间、非空间信息全部展示的 Key/Value 数据结构的存储格式。
第二章 大数据技术与国土大数据概况者也能根据其掌握的 SQL 知识进行大数据查询计算；提供大数据文件映射到表的功能，扩展性良好。相应，Hive 同样具备着 HDFS 存在的仅适用于高延迟静态批处理，实时访问性能差，并且 Hive 提供的 SQL 数量少于标准 SQL，其表达能力有限。
【参考文献】：
期刊论文
[1]云环境下海量空间矢量数据并行划分算法[J]. 姚晓闯,杨建宇,李林,叶思菁,郧文聚,朱德海. 武汉大学学报(信息科学版). 2018(07)
[2]基于HBase的海量GIS数据分布式处理实践[J]. 李雪梅,邢俊峰,刘大伟,王海洋,刘玮. 大数据. 2016(03)
[3]Hadoop支持下的地理信息大数据处理技术初探[J]. 王凯,曹建成,王乃生,郭朝阳,张哲. 测绘通报. 2015(10)
[4]基于任务合并的并行大数据清洗过程优化[J]. 杨东华,李宁宁,王宏志,李建中,高宏. 计算机学报. 2016(01)
[5]基于HBase和GeoTools的矢量空间数据存储模型研究[J]. 郑坤,付艳丽. 计算机应用与软件. 2015(03)
[6]基于规则引擎与空间聚类分析的多源地震灾情数据清洗策略研究[J]. 郭红梅,陈维锋,张莹,申源. 震灾防御技术. 2015(04)
[7]大数据GIS[J]. 李清泉,李德仁. 武汉大学学报(信息科学版). 2014(06)
[8]基于Map-Reduce的大数据实体识别算法[J]. 霍然,王宏志,朱鎔,李建中,高宏. 计算机研究与发展. 2013(S2)
[9]支持演化规则引擎的Rete算法研究[J]. 武丹凤,曾广平,闫京颖. 计算机应用研究. 2013(06)
[10]数据清洗及其一般性系统框架[J]. 曹建军,刁兴春,陈爽,邵衍振. 计算机科学. 2012(S3)
硕士论文
[1]面向农业领域知识库构建的数据清洗方法优化研究[D]. 盛丹丹.中国农业科学院 2016
[2]基于Spark的大数据清洗框架设计与实现[D]. 金翰伟.浙江大学 2016
[3]直接访问ArcSDE空间数据模型的技术方法研究[D]. 周龙廷.华东师范大学 2011
[4]基于MapReduce的分布式规则匹配系统的研究与实现[D]. 张琦.浙江大学 2011
[5]基于Hadoop的海量影像数据管理关键技术研究[D]. 霍树民.国防科学技术大学 2010
[6]基于规则的数据处理系统[D]. 屈志勇.吉林大学 2009
[7]基于Java规则引擎的动态数据清洗研究与设计[D]. 曹永亮.武汉理工大学 2008
[8]数据清洗的若干关键技术研究[D]. 包从剑.江苏大学 2007
本文编号：3053998
本文链接：https://www.wllwen.com/kejilunwen/dizhicehuilunwen/3053998.html
