异构环境下Hadoop调度算法优化与研究

发布时间：2023-08-20 10:28

　　随着大数据时代的到来,越来越多的人意识到数据的重要性,随之涌现出许多围绕数据进行分析和处理再应用的企业和研究机构,传统的数据处理方式已经不足以应对当前的海量数据。Hadoop作为一个高效的分布式计算平台,逐渐成为了处理大规模数据集的首选工具。Hadoop集群最重要的就是数据处理速度,而Hadoop的调度算法是影响集群数据处理速度的重要因素。因此Hadoop调度算法的改进与优化是目前一个比较热门的研究方向。由于数据量的不断增长,对Hadoop集群的计算性能的要求也越来越高,只有不断的向集群中增加新机器,以提高集群计算性能,这样不同配置的机器组成的集群被称为异构集群。Hadoop的默认调度算法都是基于同构集群,默认集群各节点之间性能相同。但是在异构集群中,节点的计算性能是存在差异的,如果依然使用默认的调度算法,可能会导致高性能节点空闲,低性能节点繁忙,不仅浪费了集群资源,更间接延长了作业的执行时间。针对上述问题,本文提出了一种异构环境下的基于节点分级的动态调度算法。为了能更好地利用集群高性能节点,该算法通过CPU、内存和磁盘的硬件参数将集群节点按照性能分为不同等级,并将分级结果作为任务调度...

【文章页数】：58 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 论文选题背景
    1.2 国内外研究现状
    1.3 研究目的及意义
    1.4 论文组织结构
第2章 相关技术介绍
    2.1 Hadoop平台概述
    2.2 Map Reduce编程模型
        2.2.1 Map Reduce编程模型原理
        2.2.2 Map Reduce任务运行流程
    2.3 HDFS分布式文件系统
        2.3.1 HDFS整体架构
        2.3.2 HDFS读写流程
    2.4 YARN资源管理器
        2.4.1 YARN概述
        2.4.2 YARN运行流程
    2.5 本章小结
第3章 Hadoop平台调度研究
    3.1 Hadoop作业调度算法研究
        3.1.1 FIFOScheduler
        3.1.2 CapacityScheduler
        3.1.3 FairScheduler
        3.1.4 Hadoop内置作业调度算法的不足
    3.2 Hadoop调度机制分析
    3.3 本章小结
第4章 基于节点分级的动态调度算法
    4.1 调度算法设计结构
    4.2 节点分级策略
        4.2.1 节点性能计算
        4.2.2 节点分级方法
    4.3 数据块动态调整策略
    4.4 动态分配策略
        4.4.1 节点负载率计算
        4.4.2 创建节点负载表
        4.4.3 任务分配
    4.5 本章小结
第5章 实验与分析
    5.1 Hadoop集群任务调度的性能指标
    5.2 实验环境搭建
    5.3 实验结果与结论分析
        5.3.1 作业完成时间分析
        5.3.2 数据本地化分析
        5.3.3 节点负载率分析
    5.4 本章小结
第6章 结论
参考文献
致谢



本文编号：3843040