YARN资源调度策略优化方法的设计与实现

发布时间：2023-05-13 07:26

　　随着科学技术的快速发展,人类进入了信息爆炸的时代,呈指数型增长的数据量驱动着大数据分析、分布式计算框架、云计算等技术的日益成熟。为了应对多种数据处理需求,Hadoop YARN将资源管理模块构建成一个独立的通用系统YARN,这种结构不仅解决了Hadoop 1.0中的可扩展性差、可靠性低、资源利用率低等问题,还使得Hadoop YARN可以支持多种计算框架。通过对具备多种用途的Hadoop YARN集群上的异构负载分析发现,集群中的任务不成比例的共享着集群的资源,并且短任务数量远远多于长任务,但占比很少的长任务却消耗了集群的大部分资源,这种情况不利于短任务的执行。同时,运行异构负载的集群往往存在着大量“已分配但未使用”的资源碎片,降低了集群的资源利用率。已有的研究工作YARN-mix通过引入分布式调度器将YARN原有的中央式调度器扩展为混合式调度器,将长任务和短任务分开处理,让分布式调度器利用资源碎片。这种改进初步解决了上述问题,但是YARN-mix利用静态时间阈值将任务分类为长任务和短任务的方式也阻碍了集群资源利用率的优化。为了解决上述YARN-mix存在的问题,本课题在具有混合式调度...

【文章页数】：74 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 课题背景及研究的目的和意义
    1.2 国内外研究现状
        1.2.1 集群资源调度器
        1.2.2 集群资源管理及调度策略的优化
    1.3 相关研究工作介绍
        1.3.1 YARN的工作流程
        1.3.2 YARN-mix的工作流程
        1.3.3 YARN-mix的不足
    1.4 本文的主要研究内容
    1.5 论文组织结构
第2章 YARN-P资源调度策略的概要设计
    2.1 YARN-P的整体架构
    2.2 YARN-P的资源调度策略
    2.3 负载预测方法
    2.4 阈值决策方法
        2.4.1 学习最优阈值决策策略的方法
    2.5 长短任务动态分类方法
        2.5.1 Map任务执行时间估计
        2.5.2 Reduce任务执行时间估计
    2.6 本章小结
第3章 YARN-P资源调度策略的详细设计与实现
    3.1 负载预测模块的实现
        3.1.1 集群负载的定义
        3.1.2 负载预测算法
        3.1.3 负载预测模块获取数据
    3.2 阈值决策模块的实现
        3.2.1 变量定义
        3.2.2 DDPG算法
        3.2.3 阈值决策模块获取数据
    3.3 长短任务动态分类模块的实现
        3.3.1 获取任务的参数
        3.3.2 长短任务分类模块与系统整合
    3.4 本章小结
第4章 系统验证
    4.1 实验环境
    4.2 相关数据集及测试负载
        4.2.1 Google Cluster-Usage Traces
        4.2.2 SWIM
        4.2.3 自定义训练负载
        4.2.4 自定义测试负载
    4.3 实验结果
        4.3.1 负载预测模块验证
        4.3.2 长短任务动态分类模块验证
        4.3.3 整体系统的功能及性能验证
    4.4 本章小结
结论
参考文献
攻读硕士学位期间发表的论文及其它成果
致谢



本文编号：3815497