智慧海洋大数据平台框架及关键技术研究
发布时间：2021-07-08 18:48
物联网技术与计算机技术的高速发展,推动着智慧海洋建设的不断进步,与此同时海洋数据也在急剧膨胀,这对于智慧海洋的建设和发展既是机遇也是挑战。为了更好的利用海量的海洋数据、消除“信息孤岛”、提升海洋信息化程度、促进智慧海洋的建设与发展,本文立足于智慧海洋建设的实际业务需求,利用一系列大数据技术构建智慧海洋大数据平台框架,研究海洋数据分析模型,并基于智慧海洋大数据平台框架来建设实现海洋环境数据分析评价系统,实现大数据技术在海洋环境分析评价方面的应用。本文对一系列大数据的关键技术进行研究,提出了以Hadoop为基础的智慧海洋大数据平台框架,包括基于Flume的数据采集、聚合、传输模块,基于HDFS、HBase的数据存储模块,基于MapReduce的数据分析模块,基于Sqoop的数据迁移模块,基于Mysql的业务数据存储模块。在这些先进技术的基础上,构建了智慧海洋大数据平台框架,梳理了大数据平台框架下的海洋数据处理流程。同时,本文提出了以头脑风暴优化算法和BP神经网络为核心的海洋环境数据评价模型,使用头脑风暴优化算法来优化BP神经网络的权值和阈值,最终实现准确评价海洋环境质量的目标。根据智慧海洋...
【文章来源】：青岛科技大学山东省
【文章页数】：80 页
【学位级别】：硕士
【部分图文】：
Cesium展示效果示例
青岛科技大学研究生学位论文2 HADOOP 框架Hadoop 框架是 Apache 下的分布式系统架构项目，包括了一系列大数据技具，共同构成了 Hadoop 生态圈，主要有 HDFS、MapReduce、Yarn、HBame、Sqoop、Hive、Mahout 等。.1 HDFS 分布式文件系统HDFS（Hadoop Distributed File System）是分布式计算中数据存储管理的，其高容错、高可靠性、高可扩展性、高可用性以及高吞吐率等特征为海量提供了安全便利的存储[37]。HDFS 的原理如图 2-2 所示。HDFS 采用主从（Master/Slave）节点的架构体系来存储数据，HDFS 包括 CmeNode、DataNode 和 Secondary NameNode 四部分。
HDFS 中加入一个新的节点 Secondary NameNode。Secondary NameNode定时的将合并 edit 文件，将 Image 文件进行备份，将最终生成的 FsImage载到NameNode[38]。Secondary NameNode节点可以分担NameNode的工作 NameNode 的效率，但是并不是 NameNode 的热备份。.2 MapReduce 分布式运算编程框架分布式计算编程框架 MapReduce 是用于大数据量计算的分布式计算模型。框架在多台计算机组成的分布式并行环境中进行数据处理，将大数据量的程抽象为 Map 阶段和 Reduce 阶段，不暴露过多内部处理计算细节，简化用者的要求[39]。Map 阶段通过对数据的分片后对分片数据进行操作，得到形式的阶段性结果；Reduce 阶段对 Map 阶段产生的结果将归并排序等操作最终的结果。MapReduce 原理如图 2-3 所示。MapReduce 的整个计算处理的过程可以分为两个阶段：Map 阶段和 Red。
【参考文献】：
期刊论文
[1]人工神经网络在分类问题中的应用[J]. 董嘉真. 科技传播. 2019(02)
[2]离散粒子群优化算法实现MapReduce负载平衡[J]. 李安颖,陈群,宋荷. 自动化仪表. 2018(12)
[3]全国首个海洋科技大数据平台“海上云”正式发布[J]. 方琼玟,廖静,罗茵. 海洋与渔业. 2018(12)
[4]基于Cesium的三维电网WebGIS开发与实现[J]. 马洪成,钱建国,杨戈. 测绘与空间地理信息. 2018(11)
[5]大数据研究综述[J]. 郑强,高群. 科技视界. 2018(30)
[6]基于SpringBoot微服务架构下的MVC模型研究[J]. 张雷,王悦. 安徽电子信息职业技术学院学报. 2018(04)
[7]海洋大数据科学发展现状与展望[J]. 钱程程,陈戈. 中国科学院院刊. 2018(08)
[8]基于三次样条函数的长线路GNSS高程拟合研究[J]. 张海燕,李秀海,韩冰. 测绘工程. 2018(07)
[9]BP神经网络算法改进综述[J]. 尤晓东,苏崇宇,汪毓铎. 民营科技. 2018(04)
[10]博贺湾表层沉积物重金属来源及风险评价[J]. 曾珍,陈春亮,柯盛,冯妍,赵子科,谢群. 广东海洋大学学报. 2018(02)
硕士论文
[1]基于大数据技术的智慧水产养殖系统研究[D]. 茆毓琦.青岛科技大学 2018
[2]大数据平台数据采集系统的设计与实现[D]. 逯衍.北京交通大学 2018
[3]水资源大数据平台搭建及数据处理[D]. 王思宇.内蒙古农业大学 2018
[4]大数据平台计算架构及其应用研究[D]. 张殿超.南京邮电大学 2017
[5]面向工业大数据的分布式ETL系统的设计与实现[D]. 蔡明高.中国科学院大学(中国科学院沈阳计算技术研究所) 2017
[6]基于头脑风暴算法优化的v-SVR的研究及应用[D]. 沈林.兰州大学 2014
[7]印尼海啸过程数值模拟研究及其风险评估[D]. 褚芹芹.中国海洋大学 2011
本文编号：3272131
【文章来源】：青岛科技大学山东省
【文章页数】：80 页
【学位级别】：硕士
【部分图文】：
Cesium展示效果示例
青岛科技大学研究生学位论文2 HADOOP 框架Hadoop 框架是 Apache 下的分布式系统架构项目，包括了一系列大数据技具，共同构成了 Hadoop 生态圈，主要有 HDFS、MapReduce、Yarn、HBame、Sqoop、Hive、Mahout 等。.1 HDFS 分布式文件系统HDFS（Hadoop Distributed File System）是分布式计算中数据存储管理的，其高容错、高可靠性、高可扩展性、高可用性以及高吞吐率等特征为海量提供了安全便利的存储[37]。HDFS 的原理如图 2-2 所示。HDFS 采用主从（Master/Slave）节点的架构体系来存储数据，HDFS 包括 CmeNode、DataNode 和 Secondary NameNode 四部分。
HDFS 中加入一个新的节点 Secondary NameNode。Secondary NameNode定时的将合并 edit 文件，将 Image 文件进行备份，将最终生成的 FsImage载到NameNode[38]。Secondary NameNode节点可以分担NameNode的工作 NameNode 的效率，但是并不是 NameNode 的热备份。.2 MapReduce 分布式运算编程框架分布式计算编程框架 MapReduce 是用于大数据量计算的分布式计算模型。框架在多台计算机组成的分布式并行环境中进行数据处理，将大数据量的程抽象为 Map 阶段和 Reduce 阶段，不暴露过多内部处理计算细节，简化用者的要求[39]。Map 阶段通过对数据的分片后对分片数据进行操作，得到形式的阶段性结果；Reduce 阶段对 Map 阶段产生的结果将归并排序等操作最终的结果。MapReduce 原理如图 2-3 所示。MapReduce 的整个计算处理的过程可以分为两个阶段：Map 阶段和 Red。
【参考文献】：
期刊论文
[1]人工神经网络在分类问题中的应用[J]. 董嘉真. 科技传播. 2019(02)
[2]离散粒子群优化算法实现MapReduce负载平衡[J]. 李安颖,陈群,宋荷. 自动化仪表. 2018(12)
[3]全国首个海洋科技大数据平台“海上云”正式发布[J]. 方琼玟,廖静,罗茵. 海洋与渔业. 2018(12)
[4]基于Cesium的三维电网WebGIS开发与实现[J]. 马洪成,钱建国,杨戈. 测绘与空间地理信息. 2018(11)
[5]大数据研究综述[J]. 郑强,高群. 科技视界. 2018(30)
[6]基于SpringBoot微服务架构下的MVC模型研究[J]. 张雷,王悦. 安徽电子信息职业技术学院学报. 2018(04)
[7]海洋大数据科学发展现状与展望[J]. 钱程程,陈戈. 中国科学院院刊. 2018(08)
[8]基于三次样条函数的长线路GNSS高程拟合研究[J]. 张海燕,李秀海,韩冰. 测绘工程. 2018(07)
[9]BP神经网络算法改进综述[J]. 尤晓东,苏崇宇,汪毓铎. 民营科技. 2018(04)
[10]博贺湾表层沉积物重金属来源及风险评价[J]. 曾珍,陈春亮,柯盛,冯妍,赵子科,谢群. 广东海洋大学学报. 2018(02)
硕士论文
[1]基于大数据技术的智慧水产养殖系统研究[D]. 茆毓琦.青岛科技大学 2018
[2]大数据平台数据采集系统的设计与实现[D]. 逯衍.北京交通大学 2018
[3]水资源大数据平台搭建及数据处理[D]. 王思宇.内蒙古农业大学 2018
[4]大数据平台计算架构及其应用研究[D]. 张殿超.南京邮电大学 2017
[5]面向工业大数据的分布式ETL系统的设计与实现[D]. 蔡明高.中国科学院大学(中国科学院沈阳计算技术研究所) 2017
[6]基于头脑风暴算法优化的v-SVR的研究及应用[D]. 沈林.兰州大学 2014
[7]印尼海啸过程数值模拟研究及其风险评估[D]. 褚芹芹.中国海洋大学 2011
本文编号：3272131
本文链接：https://www.wllwen.com/kejilunwen/haiyang/3272131.html
