异构Hadoop集群中基于SLA的自适应作业调度研究
发布时间：2021-11-19 17:52
Hadoop作为开源的分布式计算和存储软件,已经成为当前最为流行的大数据处理平台。随着云计算技术趋于成熟,越来越多的云服务提供商开始利用Hadoop平台来提供云服务。为了保证云服务提供商和客户双方的利益,需要签订服务等级协议（Service Level Agreement,SLA）,云服务提供商必须遵循SLA,否则会受到违约处罚。同时由于云应用的不断扩展以及网络数据量的快速增加,使得性能各异的机器加入集群作为计算节点,形成异构集群。Hadoop内置的调度算法没有考虑到异构性,导致在实际应用中作业执行效率较低,无法在SLA的截止时间内完成。因此,如何提高异构集群中的资源利用率、减少作业执行时间、避免SLA违反,成为目前亟待研究和解决的问题。针对以上问题,本文基于异构Hadoop 2.0集群,从作业性能预测、作业调度和资源分配等几个方面对异构Hadoop集群中基于SLA的自适应作业调度展开研究。其主要研究内容包括:1.针对提交的作业可能会出现不能满足SLA的问题,提出了基于SLA感知的自适应调度机制与作业性能预测模型。该机制通过作业性能预测模型对作业进行预处理。提出的适应于Hadoop2....
【文章来源】：河南科技大学河南省
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
Hadooplo和Hadoop20的架构
括 copy 和 sort 过程，它可以广义地定义为从 Map 输出到 Reduce 输入的全部过程。当 MapReduce 作业提交后，这时程序会将输入的数据集分解为很多独立的数据块，称为“分片”，并把这些“分片”分到不同的节点上进行执行，每个“分片”由 map 任务（task）独立地进行处理，并以完全并行的方式处理所有“分片”，最后再将这些节点上分片的处理结果输出到 reduce 任务进行汇总。其运行原理如图 2-2 所示。
图 2-3 MapReduce 工作流程Fig. 2-3 MapReduce execution process8. AM 为该作业的 Map 任务和 Reduce 任务以轮询的方式向 RM 申请源 container。9. AM 获取到分配的资源 container 后，与 container 所属的 NM 进行ntainer。10. Container 收到启动命令后，首先从 HDFS 中下载任务所需要的 j和缓存文件等，将任务需要的资源本地化。11. 最后 container 启动任务并运行。
【参考文献】：
期刊论文
[1]异构资源环境下Hadoop节点能力自适应调度算法[J]. 沈学利,盛方严. 计算机应用研究. 2020(02)
[2]基于优先级权重的Hadoop YARN调度算法[J]. 王荣丽,侯秀萍. 吉林大学学报(信息科学版). 2017(04)
[3]基于节点性能的Hadoop作业调度算法改进[J]. 冯兴杰,贺阳. 计算机应用与软件. 2017(05)
[4]一种Hadoop中基于作业类别和截止时间的调度算法[J]. 李曌,滕飞,李天瑞,杨浩. 计算机科学. 2015(06)
[5]集群资源统一管理和调度技术综述[J]. 李永峰,周敏奇,胡华梁. 华东师范大学学报(自然科学版). 2014(05)
[6]基于节点能力的Hadoop集群任务自适应调度方法[J]. 郑晓薇,项明,张大为,刘青昆. 计算机研究与发展. 2014(03)
[7]Hadoop平台下改进的LATE调度算法[J]. 胡丹,于炯,英昌甜,邹伟明. 计算机工程与应用. 2014(04)
[8]Hadoop平台中空闲时间调度器的设计与实现[J]. 杨浩,滕飞,李天瑞,李曌. 计算机工程与科学. 2013(10)
[9]MapReduce并行编程模型研究综述[J]. 李建江,崔健,王聃,严林,黄义双. 电子学报. 2011(11)
硕士论文
[1]异构环境下Hadoop作业调度算法的研究与实现[D]. 田野.北京邮电大学 2018
[2]异构环境中MapReduce资源调度机制的负载优化方法研究[D]. 蔡卫东.南京信息工程大学 2017
[3]基于SLA感知的Hadoop YARN节能调度策略研究[D]. 李萍.山东大学 2016
[4]基于YARN的高响应性Hadoop计算资源调度器的研究与实现[D]. 刘阳.哈尔滨工业大学 2016
[5]面向异构集群的基于节点资源动态调整的Hadoop调度优化研究[D]. 尹承忱.华中科技大学 2015
[6]Hadoop YARN资源分配与调度的研究[D]. 李媛祯.南京航空航天大学 2015
[7]基于SLA的MapReduce调度机制研究[D]. 王捷.山东大学 2014
[8]IaaS云计算环境中基于SLA的资源动态管理研究[D]. 吴海双.复旦大学 2013
本文编号：3505553
【文章来源】：河南科技大学河南省
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
Hadooplo和Hadoop20的架构
括 copy 和 sort 过程，它可以广义地定义为从 Map 输出到 Reduce 输入的全部过程。当 MapReduce 作业提交后，这时程序会将输入的数据集分解为很多独立的数据块，称为“分片”，并把这些“分片”分到不同的节点上进行执行，每个“分片”由 map 任务（task）独立地进行处理，并以完全并行的方式处理所有“分片”，最后再将这些节点上分片的处理结果输出到 reduce 任务进行汇总。其运行原理如图 2-2 所示。
图 2-3 MapReduce 工作流程Fig. 2-3 MapReduce execution process8. AM 为该作业的 Map 任务和 Reduce 任务以轮询的方式向 RM 申请源 container。9. AM 获取到分配的资源 container 后，与 container 所属的 NM 进行ntainer。10. Container 收到启动命令后，首先从 HDFS 中下载任务所需要的 j和缓存文件等，将任务需要的资源本地化。11. 最后 container 启动任务并运行。
【参考文献】：
期刊论文
[1]异构资源环境下Hadoop节点能力自适应调度算法[J]. 沈学利,盛方严. 计算机应用研究. 2020(02)
[2]基于优先级权重的Hadoop YARN调度算法[J]. 王荣丽,侯秀萍. 吉林大学学报(信息科学版). 2017(04)
[3]基于节点性能的Hadoop作业调度算法改进[J]. 冯兴杰,贺阳. 计算机应用与软件. 2017(05)
[4]一种Hadoop中基于作业类别和截止时间的调度算法[J]. 李曌,滕飞,李天瑞,杨浩. 计算机科学. 2015(06)
[5]集群资源统一管理和调度技术综述[J]. 李永峰,周敏奇,胡华梁. 华东师范大学学报(自然科学版). 2014(05)
[6]基于节点能力的Hadoop集群任务自适应调度方法[J]. 郑晓薇,项明,张大为,刘青昆. 计算机研究与发展. 2014(03)
[7]Hadoop平台下改进的LATE调度算法[J]. 胡丹,于炯,英昌甜,邹伟明. 计算机工程与应用. 2014(04)
[8]Hadoop平台中空闲时间调度器的设计与实现[J]. 杨浩,滕飞,李天瑞,李曌. 计算机工程与科学. 2013(10)
[9]MapReduce并行编程模型研究综述[J]. 李建江,崔健,王聃,严林,黄义双. 电子学报. 2011(11)
硕士论文
[1]异构环境下Hadoop作业调度算法的研究与实现[D]. 田野.北京邮电大学 2018
[2]异构环境中MapReduce资源调度机制的负载优化方法研究[D]. 蔡卫东.南京信息工程大学 2017
[3]基于SLA感知的Hadoop YARN节能调度策略研究[D]. 李萍.山东大学 2016
[4]基于YARN的高响应性Hadoop计算资源调度器的研究与实现[D]. 刘阳.哈尔滨工业大学 2016
[5]面向异构集群的基于节点资源动态调整的Hadoop调度优化研究[D]. 尹承忱.华中科技大学 2015
[6]Hadoop YARN资源分配与调度的研究[D]. 李媛祯.南京航空航天大学 2015
[7]基于SLA的MapReduce调度机制研究[D]. 王捷.山东大学 2014
[8]IaaS云计算环境中基于SLA的资源动态管理研究[D]. 吴海双.复旦大学 2013
本文编号：3505553
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/3505553.html
