地理国情统计表面积算法及分布式并行处理研究

发布时间：2020-05-17 01:16

【摘要】：地理国情普查,需要在得到数据后快速,准确的给出普查统计分析结果。而基本统计是地理国情普查的重要内容,在这些统计中,地表覆盖所涉及的地表面积的计算最耗时间。它需要处理的数据量最大,并且中间数据也最多,因此我们提出对地表面面积统计模型进行优化。由于地形起伏,难以用数学函数拟合,不能直接计算。现下计算三维地表面积的方法很多,但是这些方法普遍对单元栅格的处理过于复杂。判定条件过多,使得计算海量数据花费巨大时间。通过对现下各种方法进行对比分析,我们提出一种思路较简单的地表面面积计算方法及步骤来提高计算效率。随着新型硬件构架(单机多核、集群等)计算资源能力的不断升级,传统的数据处理技术和串行计算技术难以满足海量数据处理的需求,因此需要充分利用计算资源能力提升数据处理的实际效率。我们结合现下蓬勃发展的分布式系统基础架构(Hadoop平台)构建集群,实现地理国情分布式并行计算。本文通过探讨各种地表面面积算法,根据算法特点结合计算机图形学中知识提出一种计算地表面面积新方法。笔者给出计算具体步骤,并进行编程实现。同时安装现下开源Hadoop平台,并搭建小规模集群进行分布式并行计算。我们分别对HDFS和Map-Reduce进行设计和编程实现。最后我们选择地理国情普查中的试点区域山东省东营市进行测试实验。我们给出了详细的任务划分策略,以及影响集群计算效率的四个方面因素的影响规律,并对整体优化模型提出了切实可行的建议。
【图文】：

逦－／逡逑图２－１邋ＨＤＦＳ体系结构及数据请求流程图（胡琦，２０１４）逡逑上图２－１给出了邋ＨＤＦＳ体系结构及数据请求的流程图，由图可以看到，，这是一个有逡逑两个机架的集群，实际上它可以运行在跨越大量机架的集群上。机架１与机架２的通信逡逑是通过交换机实现的，而对于任意机架内部（机架１或者机架２）间的网络带宽是优于逡逑不同机架上的机器的。逡逑在该流程图中，名字节点对应着集群的主节点（Ｍａｓｔｅｒ），数据节点对应着从节点逡逑（Ｓｌａｖｅ）。对于每个节点间的通信，是在ＴＣＰ／ＩＰ协议之上构建的。在这个集群中各个逡逑节点之间通过数据节点协议通信。用户与集群信息交互是通过客户端协议。这两个协议逡逑出自ＲＰＣ邋（Ｒｅｍｏｔｅ邋Ｐｒｏｃｅｄｕｒｅ邋Ｃａｌｌ），它们被抽象封装。依据设计ＲＰＣ不会被名字节点逡逑主动发起，而是数据节点和客户端主动发起ＲＰＣ，名字节点被动对此作出反馈。逡逑在该流程图中，有两类关于数据的操作，分别是写操作和读操作。而写操作是能改逡逑变文件命名空间的操作

逦／逡逑图２－２邋ＭａｐＲｅｄｕｃｅ的任务处理流程图（胡请，２０１４）逡逑从上图２－２中可以看出ＭａｐＲｅｄｕｃｅ在处理任务时候，首先会传入一组数据片段。逡逑这些数据片段就是原始数据，没有经过任何处理，数据之间毫无关系。原始数据传入后逡逑１３逡逑
【学位授予单位】：武汉大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：P205

【参考文献】

相关期刊论文 前9条

1 韩买侠;程传录;王维;;地表面积计算方法研究[J];测绘通报;2015年09期

2 李越;;浅谈地理国情普查数据采集方法及要求[J];科技与企业;2015年12期

3 谢成磊;赵荣;梁勇;;基于地理坐标的地理国情统计单元表面面积精确计算[J];遥感信息;2014年04期

4 凌娜;余跃平;曾正祥;;面向地理国情监测数据管理研究[J];测绘;2013年01期

5 李德仁;眭海刚;单杰;;论地理国情监测的技术支撑[J];武汉大学学报(信息科学版);2012年05期

6 王长海;;DEM模型的三维地表面积算法研究[J];红水河;2010年03期

7 苗春葆;;点与多边形关系的射线法[J];电脑编程技巧与维护;2008年03期

8 魏东;张秀程;;基于递归算法的三维地形面积计算方法研究[J];工程地质计算机应用;2007年03期

9 江帆;吕晓华;王仲兰;;基于复化公式的DEM表面积算法分析[J];测绘学院学报;2005年04期

相关硕士学位论文 前1条

1 袁卫平;地理统计空间计算效率优化模型研究[D];辽宁工程技术大学;2015年

本文编号：2667674