云环境下海量矢量数据叠置分析方法研究
发布时间：2020-12-23 22:27
针对当前单机环境下海量矢量数据叠置分析效率低的问题,提出了云环境下海量矢量数据并行叠置分析方法;设计了海量矢量数据在云环境下的存储模型GeoWKT;基于该模型研究了云环境下海量矢量数据并行划分方法,有效避免了云环境下并行叠置计算中负载不均引起的计算效率低的问题,为数据密集与计算密集型并行叠置计算提供了新的尝试。实验结果表明,相较于传统的单机GIS软件,该方法在保证计算结果正确性的同时,显著提高了叠置分析的计算效率,证明了本文提出的基于云环境下海量矢量数据并行叠置分析方法的正确性和有效性。
【文章来源】：测绘科学. 2020年07期 北大核心
【文章页数】：8 页
【部分图文】：
数据划分基本流程图
图1 数据划分基本流程图图2中,白色格网表示未进行过数据分发的格网,灰色格网表示已进行过数据分发的格网。该策略通过多次执行数据分发过程来动态调节各节点的数据量,以使各节点之间的数据负载均衡。根据Hilbert编码值大小对其进行排序,从小到大依次遍历所有格网,并统计每个格网中的数据量,标记为gi_c。为了均衡每个计算节点的数据量,需要对计算节点的数据量设定一个阀值,阀值的计算方法如式(1)所示。
图4展示了冗余存储策略中避免重复计算的示例,其中MA为主动图层中空间要素A的MBR。根据冗余存储策略,MA被重复映射至格网4、5、6、7、8、9、10、11中,MB为被动图层中空间要素B的MBR,MB被重复映射至格网2、7、8、11、12、13中,在进行叠置求交时,若不进行重复计算问题的处理,那么将会在格网7、8、11中分别进行重复计算,并在这些格网中输出相同结果,这将降低系统的并行效率。根据避免重复计算策略,只对MA与MB相交的左下角顶点P所在的格网7进行计算,并输出相交结果C。显然该策略很好地避免了重复计算带来的时间开销,对于并行系统的效率提升具有一定意义。2.3 局部索引的建立
【参考文献】：
期刊论文
[1]大数据时代的地理国情统计分析[J]. 刘纪平,董春,亢晓琛,邱士可,赵荣,栗斌,孙立坚. 武汉大学学报(信息科学版). 2019(01)
[2]面向空间关系复合的矢量多边形图形拓扑叠置分析算法[J]. 谢顺平,叶罕霖. 计算机辅助设计与图形学学报. 2018(09)
[3]Spark框架下矢量多边形求交算法研究[J]. 姚晓,邱强,肖茁建,方金云,崔绍龙. 高技术通讯. 2018(06)
[4]科学大数据管理:概念、技术与系统[J]. 黎建辉,沈志宏,孟小峰. 计算机研究与发展. 2017(02)
[5]陆地观测卫星数据中心:大数据挑战及一种解决方案[J]. 徐文,邵俊,喻文勇,冯鹏. 武汉大学学报(信息科学版). 2017(01)
[6]一种处理交点退化现象的高效多边形裁剪算法[J]. 王慧青,崇素文. 东南大学学报(自然科学版). 2016(04)
[7]一种大规模空间数据流式并行处理方法研究[J]. 刘纪平,吴立新,董春,张福浩,亢晓琛. 测绘科学. 2016(01)
[8]云环境下的时空数据小文件存储策略[J]. 熊炼,徐正全,王涛,顾鑫. 武汉大学学报(信息科学版). 2014(10)
[9]大数据时代的空间分析[J]. 张晓祥. 武汉大学学报(信息科学版). 2014(06)
[10]基于非均匀多级网格索引的矢量地图叠加分析算法[J]. 王少华,钟耳顺,卢浩,张小虎,张珣. 地理与地理信息科学. 2013(03)
硕士论文
[1]基于MapReduce的简单要素模型并行叠置分析方法研究[D]. 江洋.南京师范大学 2016
本文编号：2934440
【文章来源】：测绘科学. 2020年07期 北大核心
【文章页数】：8 页
【部分图文】：
数据划分基本流程图
图1 数据划分基本流程图图2中,白色格网表示未进行过数据分发的格网,灰色格网表示已进行过数据分发的格网。该策略通过多次执行数据分发过程来动态调节各节点的数据量,以使各节点之间的数据负载均衡。根据Hilbert编码值大小对其进行排序,从小到大依次遍历所有格网,并统计每个格网中的数据量,标记为gi_c。为了均衡每个计算节点的数据量,需要对计算节点的数据量设定一个阀值,阀值的计算方法如式(1)所示。
图4展示了冗余存储策略中避免重复计算的示例,其中MA为主动图层中空间要素A的MBR。根据冗余存储策略,MA被重复映射至格网4、5、6、7、8、9、10、11中,MB为被动图层中空间要素B的MBR,MB被重复映射至格网2、7、8、11、12、13中,在进行叠置求交时,若不进行重复计算问题的处理,那么将会在格网7、8、11中分别进行重复计算,并在这些格网中输出相同结果,这将降低系统的并行效率。根据避免重复计算策略,只对MA与MB相交的左下角顶点P所在的格网7进行计算,并输出相交结果C。显然该策略很好地避免了重复计算带来的时间开销,对于并行系统的效率提升具有一定意义。2.3 局部索引的建立
【参考文献】：
期刊论文
[1]大数据时代的地理国情统计分析[J]. 刘纪平,董春,亢晓琛,邱士可,赵荣,栗斌,孙立坚. 武汉大学学报(信息科学版). 2019(01)
[2]面向空间关系复合的矢量多边形图形拓扑叠置分析算法[J]. 谢顺平,叶罕霖. 计算机辅助设计与图形学学报. 2018(09)
[3]Spark框架下矢量多边形求交算法研究[J]. 姚晓,邱强,肖茁建,方金云,崔绍龙. 高技术通讯. 2018(06)
[4]科学大数据管理:概念、技术与系统[J]. 黎建辉,沈志宏,孟小峰. 计算机研究与发展. 2017(02)
[5]陆地观测卫星数据中心:大数据挑战及一种解决方案[J]. 徐文,邵俊,喻文勇,冯鹏. 武汉大学学报(信息科学版). 2017(01)
[6]一种处理交点退化现象的高效多边形裁剪算法[J]. 王慧青,崇素文. 东南大学学报(自然科学版). 2016(04)
[7]一种大规模空间数据流式并行处理方法研究[J]. 刘纪平,吴立新,董春,张福浩,亢晓琛. 测绘科学. 2016(01)
[8]云环境下的时空数据小文件存储策略[J]. 熊炼,徐正全,王涛,顾鑫. 武汉大学学报(信息科学版). 2014(10)
[9]大数据时代的空间分析[J]. 张晓祥. 武汉大学学报(信息科学版). 2014(06)
[10]基于非均匀多级网格索引的矢量地图叠加分析算法[J]. 王少华,钟耳顺,卢浩,张小虎,张珣. 地理与地理信息科学. 2013(03)
硕士论文
[1]基于MapReduce的简单要素模型并行叠置分析方法研究[D]. 江洋.南京师范大学 2016
本文编号：2934440
本文链接：https://www.wllwen.com/kejilunwen/dizhicehuilunwen/2934440.html
