Hadoop资源感知调度器的设计与实现
发布时间：2021-09-29 16:39
作业调度器是分布式文件系统的核心模块之一,它的性能好坏会极大程度影响到分布式集群的资源利用效率以及整体性能。Hadoop分布式系统中现有的作业调度器都只侧重单一的技术指标,使得系统不能及时有效地为多样的客户需求分配计算资源（如CPU资源和内存资源等）。对此,本文提出了Hadoop资源感知调度器,特别以资源合理调度分配为目的,对Hadoop分布式系统的队列管理和作业管理进行优化设计,并设计和实现了具有资源感知能力的Hadoop作业调度器。Hadoop资源感知调度器一方面针对当前Hadoop分布式系统以队列的方式管理作业时所存在的缺点,对用户的需求进行考虑,将队列分为三种类型:大资源需求量的作业队列,正常资源需求量的作业队列,以及较少资源需求量的作业队列。通过比较作业的资源请求和节点列表的平均可用资源量,将作业划入相应的作业队列中,从而完成队列的合理划分以及作业的科学管理。另一方面Hadoop资源感知调度器考虑集群资源的供应,选择针对集群各个节点的CPU资源量,提出一种以CPU资源量为主要比较标准的节点划分算法,采用三种类型列表管理拥有不同CPU资源量的节点,即拥有较大CPU资源量的节点列...
【文章来源】：华侨大学福建省
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
Hadoop资源感知调度器架构图
图 2.1 MRv1 架构图端为用户提供了与作业跟踪器通信的通道，以及查看作业运户将 MapReduce 程序通过客户端提交给作业跟踪器。跟踪器主要监控系统资源和调度作业。它还监管任务跟踪器作业的容错机制。当一个节点上发现异常作业时，作业跟踪正常节点以重新执行。另外，作业跟踪器会收集集群计算资情况等信息，调度器通过作业跟踪器提供的信息能够合理地跟踪器是作业的实际执行者。它定期把节点的作业执行状态量以心跳方式发送给作业跟踪器，并处理作业跟踪器的命令educe 框架中，任务跟踪器以槽（slot）的方式划分节点计算资得了槽之后，它才有机会运行。槽还分为 Map slot 和 Reduce Map 阶段使用，Reduce 槽供 Reduce 阶段使用。任务跟踪器进行任务的并发度限定。
二代 MapReduce 架构 MRv1 存在诸多缺点，Apache 升级了 MapReduce，即第二代 M（MRv2），也称作 YARN[47]。因 MRv2 的资源管理模块独立构成核心转变成 YARN。在 YARN 框架中，MRv1 的作业跟踪器进程：资源管理器（ResourceManager）管理集群计算资源，pplicationMaster）只负责一个作业，这样使 Hadoop 能够支持 。 实 际 上 ， YARN 还 是 主 从 结 构 ， 组 件 包 括 作 业 控icationMaster ）、 资 源 管 理 器 （ ResourceManager ）、 节 点anager）和资源抽象（Container）。其中资源管理器是主节点节点，资源管理器负责管理节点管理器上的资源并进行调度示，各个组件功能描述如下。
【参考文献】：
期刊论文
[1]云计算资源纳什均衡优化分配方法改进[J]. 王岩,汪晋宽,宋欣. 计算机工程. 2017(12)
[2]基于任务进度感知的异构Hadoop云平台任务调度方案[J]. 刘莹,罗兴宇,王宁,罗强. 计算机应用研究. 2017(10)
[3]异构Hadoop集群中数据副本放置策略优化[J]. 刘艳,蔡燕冬,谢晓东,张庆磊. 华中科技大学学报(自然科学版). 2016(07)
[4]一种Hadoop Yarn的资源调度方法研究[J]. 李媛祯,杨群,赖尚琦,李博涵. 电子学报. 2016(05)
[5]基于Hadoop的公共建筑能耗数据挖掘方法[J]. 王磊,张永坚,贾继鹏,牛晓光,聂昌龙. 计算机系统应用. 2016(03)
[6]异构Spark集群下自适应任务调度策略[J]. 杨志伟,郑烇,王嵩,杨坚,周乐乐. 计算机工程. 2016(01)
[7]SQL-DFS:一种基于HDFS的海量小文件存储系统[J]. 马志强,杨双涛,闫瑞,张泽广. 北京工业大学学报. 2016(01)
[8]Hadoop云平台下基于资源预估的作业调度算法[J]. 卢慧,高弘博,张丰满,王梅,肖震. 计算机应用研究. 2016(08)
[9]Hadoop平台下基于截止时间限制的动态调度算法的研究[J]. 张永,贺言君. 计算机应用研究. 2016(02)
[10]一种优化的Hadoop副本放置策略[J]. 蔡燕冬,刘艳,张庆磊. 微型机与应用. 2015(16)
本文编号：3414063
【文章来源】：华侨大学福建省
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
Hadoop资源感知调度器架构图
图 2.1 MRv1 架构图端为用户提供了与作业跟踪器通信的通道，以及查看作业运户将 MapReduce 程序通过客户端提交给作业跟踪器。跟踪器主要监控系统资源和调度作业。它还监管任务跟踪器作业的容错机制。当一个节点上发现异常作业时，作业跟踪正常节点以重新执行。另外，作业跟踪器会收集集群计算资情况等信息，调度器通过作业跟踪器提供的信息能够合理地跟踪器是作业的实际执行者。它定期把节点的作业执行状态量以心跳方式发送给作业跟踪器，并处理作业跟踪器的命令educe 框架中，任务跟踪器以槽（slot）的方式划分节点计算资得了槽之后，它才有机会运行。槽还分为 Map slot 和 Reduce Map 阶段使用，Reduce 槽供 Reduce 阶段使用。任务跟踪器进行任务的并发度限定。
二代 MapReduce 架构 MRv1 存在诸多缺点，Apache 升级了 MapReduce，即第二代 M（MRv2），也称作 YARN[47]。因 MRv2 的资源管理模块独立构成核心转变成 YARN。在 YARN 框架中，MRv1 的作业跟踪器进程：资源管理器（ResourceManager）管理集群计算资源，pplicationMaster）只负责一个作业，这样使 Hadoop 能够支持 。 实 际 上 ， YARN 还 是 主 从 结 构 ， 组 件 包 括 作 业 控icationMaster ）、 资 源 管 理 器 （ ResourceManager ）、 节 点anager）和资源抽象（Container）。其中资源管理器是主节点节点，资源管理器负责管理节点管理器上的资源并进行调度示，各个组件功能描述如下。
【参考文献】：
期刊论文
[1]云计算资源纳什均衡优化分配方法改进[J]. 王岩,汪晋宽,宋欣. 计算机工程. 2017(12)
[2]基于任务进度感知的异构Hadoop云平台任务调度方案[J]. 刘莹,罗兴宇,王宁,罗强. 计算机应用研究. 2017(10)
[3]异构Hadoop集群中数据副本放置策略优化[J]. 刘艳,蔡燕冬,谢晓东,张庆磊. 华中科技大学学报(自然科学版). 2016(07)
[4]一种Hadoop Yarn的资源调度方法研究[J]. 李媛祯,杨群,赖尚琦,李博涵. 电子学报. 2016(05)
[5]基于Hadoop的公共建筑能耗数据挖掘方法[J]. 王磊,张永坚,贾继鹏,牛晓光,聂昌龙. 计算机系统应用. 2016(03)
[6]异构Spark集群下自适应任务调度策略[J]. 杨志伟,郑烇,王嵩,杨坚,周乐乐. 计算机工程. 2016(01)
[7]SQL-DFS:一种基于HDFS的海量小文件存储系统[J]. 马志强,杨双涛,闫瑞,张泽广. 北京工业大学学报. 2016(01)
[8]Hadoop云平台下基于资源预估的作业调度算法[J]. 卢慧,高弘博,张丰满,王梅,肖震. 计算机应用研究. 2016(08)
[9]Hadoop平台下基于截止时间限制的动态调度算法的研究[J]. 张永,贺言君. 计算机应用研究. 2016(02)
[10]一种优化的Hadoop副本放置策略[J]. 蔡燕冬,刘艳,张庆磊. 微型机与应用. 2015(16)
本文编号：3414063
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3414063.html
