基于Spark的乘潮水位任务控制模式研究

发布时间：2017-04-26 07:17

  本文关键词：基于Spark的乘潮水位任务控制模式研究，由笔耕文化传播整理发布。

【摘要】：伴随着计算机技术和海洋环境信息观测技术的进步与发展,海洋环境信息越来越呈现出数据量大、多尺度、类型复杂、形态多样、时空特性强、动态更新频繁的特点,为了更好的研究长时间序列下空间数据场的处理问题,结合目前我国数值计算服务模式的发展特点,将Spark框架应用于乘潮水位任务控制模式中,改变了传统乘潮水位计算的业务模式。近年来,云计算技术迅速发展,成为经济社会发展的重要推动力,并行计算为处理海洋数据提供了一个新的技术路线。Spark并行计算框架作为一种内存式计算框架,在沿用传统Hadoop云计算框架优点的基础上,设计了一个更加通用的编程抽象,它可以处理不同的计算任务,实现了一个MapReduce的扩展,被称为弹性分砸式数据集(RDD)。RDD大大增加了Spark并行计算框架的通用性,增加了高效的数据共享,单个执行模型可以有效地支持不同的分布式计算。基于Spark框架的上述优点,本文开展了基于Spark框架下的乘潮水位任务控制模式研究。本文根据国家海洋公益项目“海洋环境信息云计算与云服务体系框架应用研究”对海洋环境信息处理的要求,以实验室开发的Spark框架下乘潮水位任务控制和web交互系统为基础,研究了基于Spark下的乘潮水位任务控制模式框架体系,并对Spark调度算法进行研究,针对乘潮水位计算的具体特点,研究并实现了适合乘潮水位计算的调度算法,实验结果表明,基于Spark框架下的乘潮水位任务控制模式,能够改变乘潮水位传统的业务计算模式,将云计算技术引入到乘潮水位的计算中，降低乘潮水位计算对高性能集群的依赖性,降低计算的硬件成本；灵活性方而,改变了一体式的计算模式,可以根据计算需要,提高局部乘潮水位计算区域的效率和精确度；在任务控制模式方面,改进后的任务控制算法,可以提高任务分配的合理性和科学性,从而提高乘潮水位计算的效率。实验结果证明：基于Spark的乘潮水位任务控制模式能够提高乘潮水位计算的效率,提高任务计算的速度。本文主要的研究内容和工作如下：1.研究目前云计算技术的发展和应用情况,以及云计算技术在海量海洋环境数据处理上的优势,结合海洋环境处理典型应用——乘潮水位计算的业务模式和计算特点,研究将Spark并行计算框架应用于乘潮水位任务控制的模式。2.针对传统集群一体化计算的缺点,设计和实现了乘潮水位计算Web交互系统,增加了乘潮水位计算的灵活性、伸缩性和交互性,并支持对乘潮水位计算结果可视化的交互浏览和无级缩放,达到使用云平台进行海洋环境信息处理的目的,为直观展示和分析海洋数据,挖掘和研究海洋规律提供更高效更快速的手段。3.对乘潮水位计算过程进行监控,了解各个计算任务的节点分配情况。4.在研究Spark原生调度算法之后,结合乘潮水位任务计算的特点,提出一套优化调度算法,以Spark集群计算能力和乘潮水位计算区域的复杂度为调度算法的依据,有效提高了Spark框架下乘潮水位计算任务分配的合理性,使Spark集群的计算效率提高。
【关键词】：Spark 乘潮水位 任务控制模式 海洋环境信息处理
【学位授予单位】：中国海洋大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP338.6
【目录】：

• 摘要5-7
• abstract7-12
• 1. 绪论12-18
• 1.1 课题研究的背景和意义12-13
• 1.2 Spark并行计算框架研究现状13-15
• 1.3 乘潮水位研究内容与现状15-16
• 1.4 本文主要研究工作及贡献16
• 1.5 本文组织结构16-18
• 2. 关键技术18-28
• 2.1 海洋信息处理与云平台18-19
• 2.2 乘潮水位计算模式19-20
• 2.3 Spark框架20-26
• 2.3.1 Spark核心思想21-22
• 2.3.2 Spark生态系统22-24
• 2.3.3 Spark分布式部署模式24-26
• 2.4 本章小结26-28
• 3. Spark框架下乘潮水位任务控制模式框架体系28-38
• 3.1 云平台海洋环境信息处理框架体系28-29
• 3.2 乘潮水位Spark控制模式问题分析29-31
• 3.3 任务控制模式的运行过程31-37
• 3.4 本章小结37-38
• 4. Spark框架下乘潮水位任务控制模式研究与实现38-52
• 4.1 Spark的任务控制模式简介38-40
• 4.2 Spark的任务调度算法40-43
• 4.3 Spark乘潮水位任务调度算法优化43-51
• 4.3.1 优化背景43-45
• 4.3.2 优化算法45-48
• 4.3.3 具体技术实现方法48-51
• 4.4 本章小结51-52
• 5. 实验结果对比分析52-58
• 5.1 实验准备53-54
• 5.2 实验结果54-56
• 5.2.1 算法测试54-55
• 5.2.2 Spark框架下乘潮水位任务控制模式测试55-56
• 5.3 结果分析与测试结论56-58
• 6. 总结与展望58-60
• 参考文献60-64
• 附录64-68
• 致谢68-70
• 个人简历70

【参考文献】

中国期刊全文数据库 前10条

1 陈虹君;;基于Hadoop平台的Spark框架研究[J];电脑知识与技术;2014年35期

2 嵇智源;潘巍;;面向大数据的内存数据管理研究现状与展望[J];计算机工程与设计;2014年10期

3 刘亚琼;;星火燎原 2014中国Spark技术峰会精彩回顾[J];程序员;2014年05期

4 张凯;秦勃;刘其成;;基于GPU-Hadoop的并行计算框架研究与实现[J];计算机应用研究;2014年08期

5 杨万康;尹宝树;杨德周;徐振华;;基于FVCOM的南海北部海域潮汐潮流数值模拟[J];海洋科学;2013年09期

6 陈波昌;魏皓;;FVCOM模型在渤海湾潮流潮汐模拟中的应用[J];天津科技大学学报;2013年04期

7 尼建军;王新怡;张凤烨;王永刚;连展;;基于FVCOM的渤海潮波数值模拟[J];海洋科学;2013年02期

8 王加亮;秦勃;刘健健;刘妮;;基于MapReduce的交互可视化平台[J];电信科学;2012年09期

9 胡松;陈长胜;高郭平;来志刚;葛建忠;林辉婵;戚建华;;全球非结构网格有限体积法海洋模式东中国海潮汐计算初步分析[J];上海海洋大学学报;2012年04期

10 ;A FVCOM-Based Unstructured Grid Wave, Current,Sediment Transport Model,I.Model Description and Validation[J];Journal of Ocean University of China;2011年01期

  本文关键词：基于Spark的乘潮水位任务控制模式研究，由笔耕文化传播整理发布。

，

本文编号：328000