Hadoop中的资源调度算法研究及应用

发布时间：2023-05-22 04:41

　　Hadoop是一个支持并行计算的软件框架,它在数据的分布式存储、提取、分析、计算等方面有着得天独厚的优势,使得其在大数据处理领域受到人们的广泛关注。自从Hadoop2.0引入了YARN做为其统一资源管理系统后,集群在任务分配、资源监控和数据共享等方面有了巨大突破。YARN内置三种资源调度器,然而随着应用的扩展,这些内置的调度器在集群资源利用率和系统吞吐量上并不能让用户满意。因此,研究如何合理的进行资源分配和调度,优化和提高YARN资源管理系统的调度性能对于海量数据计算和处理具有重要意义。本文对Hadoop YARN的资源调度机制进行了深入研究分析,从如何提高集群整体资源利用率、减少系统整体任务执行时间角度出发,针对YARN中存在的预留资源不能充分利用问题、推测执行机制预测备份任务启动不准确问题,提出了相应解决办法。首先,对于如何更合理的分配资源,提出一种基于多维度约束遗传算法的Hadoop资源调度方法。该方法通过YARN的心跳机制获取节点CPU速度、内存大小、负载等信息来初始化染色体。同时在算法的交叉、变异、复制等操作环节上进行了改进,引入了双适应度函数,充分保证算法的收敛性和有效性。...

【文章页数】：73 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景
    1.2 研究意义
    1.3 国内外研究现状
    1.4 本文组织结构
第二章 Hadoop YARN调度模型与策略分析
    2.1 引言
    2.2 YARN的架构及执行流程介绍
        2.2.1 YARN基本组成结构
        2.2.2 YARN工作流程
    2.3 YARN资源调度器运行机理
        2.3.1 YARN机制介绍
        2.3.2 YARN中资源调度算法介绍
    2.4 Hadoop YARN存在问题分析
    2.5 本章小结
第三章 基于多维度约束遗传算法的Hadoop资源调度器
    3.1 引言
    3.2 相关介绍
        3.2.1 遗传算法概念介绍
        3.2.2 遗传算法执行流程
    3.3 MCGA资源调度算法
        3.3.1 MCGA算法执行流程
        3.3.2 MCGA算法集群环境描述
        3.3.3 MCGA算法模型设计
    3.4 实验与分析
        3.4.1 实验环境
        3.4.2 实验结果与分析
第四章 渐进式非阻塞资源预留机制
    4.1 引言
    4.2 Hadoop中的资源预留机制
    4.3 渐进式非阻塞资源预留机制设计
        4.3.1 预留容器和机会资源介绍
        4.3.2 预留节点选择
        4.3.3 机会资源分配
    4.4 实验与分析
        4.4.1 实验环境
        4.4.2 实验结果与分析
第五章 基于时间序列的推测执行机制
    5.1 引言
    5.2 相关介绍
        5.2.1 Hadoop中的推测执行机制
        5.2.2 Hadoop中任务执行过程介绍
    5.3 基于时间序列的推测执行机制设计
        5.3.1 掉队任务的判定方法
        5.3.2 预测掉队任务完成时间
        5.3.3 选择备份任务启动节点
        5.3.4 预测备份任务完成时间
        5.3.5 备份任务启动必要性判断
    5.4 实验与分析
        5.4.1 实验环境
        5.4.2 实验结果与分析
第六章 总结与展望
    6.1 总结
    6.2 展望
参考文献
作者在读期间科研成果简介
致谢



本文编号：3822023