基于Spark的土地利用矢量数据空间叠加分析方法

发布时间：2019-07-30 09:56

【摘要】：针对海量土地利用矢量数据空间叠加分析的效率问题,提出了基于Spark的土地利用矢量数据空间叠加分析方法,通过弹性分布式数据集实现索引过滤与叠加计算,为解决空间叠加分析的瓶颈问题做了新的尝试.实验结果表明,相较基于Oracle数据管理的叠加分析方法,该方法显著提高了空间叠加分析效率,更适合面向海量土地利用矢量数据的叠加分析.
【图文】：

主节点、４个数据节点，每个节点配置Ｉｎｔｅｌｉ７９５０＠３．０７ＧＨｚ处理器、１６Ｇ内存、１Ｔ硬盘．软件环境为：操作系统ＳＵＳＥＬｉｎｕｘＥｎｔｅｒｐｒｉｓｅＳｅｒｖｅｒ１１ＳＰ２（ｘ８６＿６４），运行环境Ｈａｄｏｏｐ２．４．０、Ｓｐａｒｋ１．０．１．本次实验以２个年份土地利用矢量数据地类图斑层的Ｉｎｔｅｒｓｅｃｔ为例测试图层叠加分析的性能，实验数据为浙江省２０１０和２０１２年多个县级行政区土地利用矢量数据中的地类图斑数据．图２为Ｓｐａｒｋ与Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ的性能对比图．由图２可知，Ｓｐａｒｋ的性能明显优于Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ，其所需的时间与数据量也呈线性关系，并且消耗时间要远少于Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ．图２空间Ｉｎｔｅｒｓｅｃｔ时间对比图Ｆｉｇ．２ＴｉｍｅｃｏｍｐａｒｉｓｏｎｃｈａｒｔｏｆＩｎｔｅｒｓｅｃｔ图３所示为２个节点和４个节点下的土地利用矢量数据Ｉｎｔｅｒｓｅｃｔ对比图．由图３可知，Ｓｐａｒｋ在２个节点上与在４个节点上运行，所需的时间与数据量均线性相关，并且２个节点的效率与４个节点的效率呈一定比例关系．图３空间Ｉｎｔｅｒｓｅｃｔ节点对比图Ｆｉｇ．３ＮｏｄｅｓｃｏｍｐａｒｉｓｏｎｃｈａｒｔｏｆＩｎｔｅｒｓｅｃｔ通过以上实验测试，可以得到如下结论：在海量土地利用矢量数据叠加分析方面，Ｓｐａｒｋ性能明显优于Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ，并且随着节点数量的增加，Ｓｐａｒｋ性能呈一定比例提高．４３第１期靳凤营，等：基于Ｓｐａｒｋ

基于Spark的土地利用矢量数据空间叠加分析方法

ｒｓｅｃｔ为例测试图层叠加分析的性能，实验数据为浙江省２０１０和２０１２年多个县级行政区土地利用矢量数据中的地类图斑数据．图２为Ｓｐａｒｋ与Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ的性能对比图．由图２可知，Ｓｐａｒｋ的性能明显优于Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ，，其所需的时间与数据量也呈线性关系，并且消耗时间要远少于Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ．图２空间Ｉｎｔｅｒｓｅｃｔ时间对比图Ｆｉｇ．２ＴｉｍｅｃｏｍｐａｒｉｓｏｎｃｈａｒｔｏｆＩｎｔｅｒｓｅｃｔ图３所示为２个节点和４个节点下的土地利用矢量数据Ｉｎｔｅｒｓｅｃｔ对比图．由图３可知，Ｓｐａｒｋ在２个节点上与在４个节点上运行，所需的时间与数据量均线性相关，并且２个节点的效率与４个节点的效率呈一定比例关系．图３空间Ｉｎｔｅｒｓｅｃｔ节点对比图Ｆｉｇ．３ＮｏｄｅｓｃｏｍｐａｒｉｓｏｎｃｈａｒｔｏｆＩｎｔｅｒｓｅｃｔ通过以上实验测试，可以得到如下结论：在海量土地利用矢量数据叠加分析方面，Ｓｐａｒｋ性能明显优于Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ，并且随着节点数量的增加，Ｓｐａｒｋ性能呈一定比例提高．４３第１期靳凤营，等：基于Ｓｐａｒｋ的土地利用矢量数据空间叠加分析方法
【作者单位】：浙江大学浙江省资源与环境信息系统重点实验室;浙江大学地理信息科学研究所;
【基金】：国家自然科学基金资助项目(41471313;41101356) 浙江省科技攻关计划项目(2013C33051) 国家海洋公益性行业科研专项经费资助项目(2015418003;201305012) 国家科技基础工作专项(2012FY112300) 中央高校基础科研业务费专项(2013QNA3023)
【分类号】：P208

【参考文献】