面向高性能计算的YARN平台关键技术与应用研究

发布时间：2017-04-23 11:11

  本文关键词：面向高性能计算的YARN平台关键技术与应用研究，，由笔耕文化传播整理发布。

【摘要】：随着大数据时代的来临,各类并行计算框架应运而生。这其中,基于MapReduce架构的Hadoop和Spark等由于具备高容错性、高扩展性和高可靠性等优点,越来越受到人们的关注。随后,研究人员在MRv2中将资源管理和处理组件分开,形成通用的资源处理框架—-YARN,进一步提升了系统的可伸缩性、效率和灵活性。YARN平台非常适合面向互联网的大规模数据处理,但当其应用到高性能计算中时,在资源调度、Shuffle算法等方面,仍然存在可提升性能的地方。本文针对上述问题,进行了深入的研究,取得的主要成果如下：(1)提出并实现了一种基于人工鱼群的YARN平台资源调度器算法,提高了系统的资源利用率。该算法从提高内存利用率和减少job运行时间两个方面进行了改进,使其更加适应高性能计算的需求,并将其抽象为MKP多背包问题,最后应用人工鱼群算法获得最优解。实验证明本文可以有效地提高系统的运行效率和资源利用率。(2)提出并实现了一种面向RDMA的YARN平台Shuffle算法,提高了YARN系统的处理效率。该算法充分利用新一代网络互联设备RDMA的高带宽,将Shuffle操作从Reduce端分裂出来,做成后台进程,同时改进了读写策略,降低了磁盘随机读写的负载,减少了Shuffle过程的时间。实验证明改进的Shuffle算法可以有效地提升系统的处理效率。(3)针对地质高性能计算应用系统—-Kirchhoff叠前时间偏移(PKTM)算法进行了研究,在本文改进的YARN平台上,分别提出和实现了基于Hadoop平台和Spark平台的PKTM系统,并对其性能进行了分析,验证了本文改进算法的有效性,也为地质成像算法在MapReduce架构上的并行化提供了借鉴。
【关键词】：大数据 Hadoop Spafk PKTM RDMA Shuffle
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13;TP18
【目录】：

• 摘要5-6
• Abstract6-10
• 第一章 绪论10-20
• 1.1 研究背景与意义10-14
• 1.1.1 Hadoop背景11-12
• 1.1.1.1 MapReduce介绍11-12
• 1.1.2 YARN平台背景12-13
• 1.1.3 Spark背景13-14
• 1.1.3.1 RDD介绍14
• 1.2 研究现状14-18
• 1.2.1 YARN研究现状14-16
• 1.2.2 Shuffle研究现状16-17
• 1.2.3 PKTM研究现状17-18
• 1.3 本文主要工作和内容组织18-20
• 1.3.1 本文工作18
• 1.3.2 章节安排18-20
• 第二章 一种基于人工鱼群算法的YARN资源调度器20-39
• 2.1 YARN调度器概述20-21
• 2.2 相关工作21
• 2.3 资源调度目标21-23
• 2.4 基于人工鱼群的资源调度器框架23-32
• 2.4.1 Memory-based目标函数设计24-25
• 2.4.2 Time-based目标函数设计25-28
• 2.4.2.1 Dependency分析26-27
• 2.4.2.2 Adaptive分析27-28
• 2.4.3 AFSA在调度器上的实现28-32
• 2.5 实验环境和结果32-38
• 2.5.1 实验配置34-35
• 2.5.2 实验结果和分析35-38
• 2.6 本章小结38-39
• 第三章 基于RDMA的YARN平台Shuffle算法改进39-50
• 3.1 Shuffle概述39-42
• 3.2 相关工作42
• 3.3 RDMA简介42-43
• 3.4 基于RDMA的Shuffle改进43-46
• 3.4.1 Shuffle详细设计44-45
• 3.4.2 Shuffle算法实现45-46
• 3.5 实验结果与分析46-49
• 3.6 本章小结49-50
• 第四章 基于改进的YARN平台的PKTM系统50-63
• 4.1 PKTM概述50-51
• 4.2 相关工作51-52
• 4.3 PKTM分布式算法实现52-57
• 4.3.1 Hadoop上的Kirchhoff算法实现52-54
• 4.3.2 Spark上的Kirchhoff算法实现54-57
• 4.4 实验结果与分析57-62
• 4.4.1 数据准备57
• 4.4.2 实验结果57-62
• 4.5 本章小结62-63
• 第五章 总结与展望63-65
• 5.1 总结63-64
• 5.2 展望64-65
• 参考文献65-71
• 科研成果71-72
• 在校参加的研究工作71
• 在校发表论文71-72
• 致谢72-73

【相似文献】

中国期刊全文数据库 前10条

1 陈f ,施伯乐;多版本调度器的分析[J];计算机学报;1990年10期

2 郭建新;李冀;魏明亮;陆桑璐;陈贵海;谢立;;基于簇结构的分层调度器的设计和实现[J];计算机科学;2001年04期

3 高银河;;浪潮天梭8650负载均衡调度器工作原理与配置故障分析[J];科技资讯;2006年14期

4 王重钢,隆克平,龚向阳,程时端;一种增强的速率比例调度器[J];电子学报;2001年07期

5 李奇;樊晓平;;一种时间触发的多任务调度器设计[J];单片机与嵌入式系统应用;2008年05期

6 崔翠;彭舰;曹晓阳;郭翔;;融合多集群的ECCSSM分布式调度器研究与设计[J];计算机应用;2009年S1期

7 魏艳艳;孟李林;;高速分组交换网络中调度器的设计[J];计算机技术与发展;2012年01期

8 刘桂波;陈国华;罗大庸;;一类链路调度器的统一随机服务曲线研究[J];有色冶金设计与研究;2011年Z1期

9 闫石;马潮;;时间触发模式下的Protothreads设计应用[J];单片机与嵌入式系统应用;2009年01期

10 王克宏,谢树煜,汤志忠;μs16系统的固化特征——二、固化的多任务调度器[J];微电子学与计算机;1985年04期

中国重要会议论文全文数据库 前2条

1 刘桂波;陈国华;罗大庸;;一类链路调度器的统一随机服务曲线研究[A];2011第十六届全国自动化技术与应用学术年会专辑[C];2011年

2 叶永凯;董威;舒绍娴;徐小平;;freeRTOS内核的RM调度器的设计与实现[A];第十六届计算机工程与工艺年会暨第二届微处理器技术论坛论文集[C];2012年

中国重要报纸全文数据库 前7条

1 并行分布处理国家重点实验室 章文嵩 章文卓 吴泉源;可伸缩网络服务的Linux集群[N];计算机世界;2000年

2 中科院计算所软件研究室 李洋;确保Linux环境下文件共享的安全[N];计算机世界;2004年

3 ;IP层次化QoS大有可为[N];计算机世界;2004年

4 吴e

本文编号：322302