海洋渔业地理格网模型研究与设计

发布时间：2024-04-13 16:35

　　海洋数据的极大丰富,不仅推动了海洋科学以及海洋渔业生产的快速发展,同时向人们提出了海量时空数据的有效组织问题。解决这些问题的关键是研究海量时空数据的组织和分析方法,在Hadoop云平台下利用地理格网模型这一数据组织方式,更加有助于我们分析和处理海量的海洋环境时空数据。本文概述了GIS领域现有的地理格网模型理论以及研究现状,分析了海洋环境数据的组织与管理以及遇到的问题。为设计海洋渔业地理格网模型奠定了理论基础。分析了Hadoop、Hive以及HBase等云计算相关技术,为基于格网模型的海洋渔业环境数据的组织与存储提供了技术支持。针对基于位置的海洋环境要素的管理与渔场预报和信息服务等应用场景,本文设计了一种海洋渔业地理格网模型。包括格网的设计目标与原则、格网空间基准、格网划分与编码规则以及格网索引策略,并且基于Java语言实现了WGS-84坐标与格网编码的转换算法;同时搭建了基于Hadoop平台集成Hive与HBase云计算测试环境。并且使用大数据仓库工具Hive分析处理数据,根据HBase数据库的优点设计了一种基于格网模型的海洋渔业环境数据的空间查询检索策略。

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

图2-1HDF架构示意图

跨计算机集群分布式处理大数据集HadoopYarn、HDFS以及MapReduce。其中HadoopCommon中包括了其它Hadoop模块中所需的Java库和实用的程序；Yarn是用于作业调度和分别计算资源的框架；HDFS是一种分布式文件系统；MapReduc....

图2-2YARN架构图

海洋渔业地理格网模型的研究与设计Base、Pig、Spark等应用。括ResourceManager、NodeManager、ApplicationMaster、Seched个部分。ResourceManager主要负责整个Hadoop系统中的资源端的请求、启动和监控A....

图2-3MapReduce工作原理

第二章相关技术与理论是键值对（Key-Value）的形式输出计算结果，map的输出结果作为reduce的输入。Reduce过程中，当map任务执行完成后，reduce节点就会读取所有的map处理的结果数据，开始对数据进行处理，reduce进程主要对数据进行汇....

图2-4Hive架构

元数据：metastore是一般使用MySQL或者Derby数据库对元数据进行据默认存储在自带的derby数据库，但是通常情况下开发人员采用MyS。Hive中的驱动器主要包含解析器、编译器、优化器、执行器。其中，将SQL字符串转换成抽象语法树AST，并对AST....

本文编号：3953330