云平台下自适应调度算法的研究与改进

发布时间：2018-05-24 01:16

本文选题：云计算 + Hadoop　；参考：《太原理工大学》2014年硕士论文

【摘要】：近年来,云计算发展迅猛,众多rr巨头相继开发相应的云计算产品和服务。截止2013年,全球云计算市场规模已经超过1000亿美元。在我国,云计算产业同样得到了金融、医疗、教育、电信、电力等行业的高度重视。随着4G网络的建设,云计算在国内外的研究和发展会得到前所未有的发展。在云计算的关键技术中,资源调度作为一项研究热点得到了广大学者的关注,调度的效率直接影响到集群的整体性能与资源利用率。当前云计算环境具有动态、异构和海量多类型任务并发等特征,随着集群规模不断增大、用户QoS不断增多,现有调度算法越来越难以适应动态变化的环境、难以满足用户的需求,因此,提高云计算环境下作业调度器的自适应性和用户满意度,能够更加有效地利用资源,满足实际需求。通过深入调研,本文首先简要介绍了云计算平台Hadoop的体系结构,包括其核心技术MapReduce编程模型和HDFS文件存储系统。然后按照作业的生命周期,从“作业提交与初始化”、"JobTracker的功能”、"TaskTracker的功能”、“调度模块的作用”四个方面对云平台下的作业调度流程进行了详细分析。此外,本文对Hadoop平台下现有的先进先出调度器(FIFO Scheduler)、公平调度器(Fair Scheduler)、计算能力调度器(Capacity Scheduler)进行了研究。其中,先进先出调度器简单快捷,但不适用于多类型作业共享集群资源,也没有考虑不同用户不同作业的需求差异；公平调度器支持多作业共享集群,提高了作业并行度和用户服务质量,但在杀死任务时没有考虑数据本地化和作业特征,会形成大量的数据移动,增加网络负载；计算能力调度器同样支持多作业共享集群,根据作业性能进行资源分配,但易陷入局部最优。此外,公平调度器和计算能力调度器的优化配置需要在集群启动前静态设置,不能根据作业运行状态和资源使用情况进行动态调整。本文针对上述问题,提出了Hadoop下基于作业分类的自适应调度算法。该算法首先使用朴素贝叶斯分类的机器学习算法将队列中的作业分为运行作业和等待作业。然后,又根据当前资源使用情况和Map-shuffle阶段不同类型作业的的CPU和I/O的利用率的不同,制定了一个过载规则。过载规则用于判断上次任务分配是否会造成集群过载,并把结果反馈给朴素贝叶斯分类器。此外,针对可能出现的分类结果相同的情况,本文引入效用函数,根据用户提交时的预期完成时间QoS和作业完成情况估算其作业完成时间,实现动态设置作业优先级。最后,由调度器选择优先级最高的作业进行调度。本文提出的调度算法正是通过不断从上一次任务分配中吸取经验的方式,动态调整下一轮作业分类和任务分配,进而实现考虑了预期完成时间QoS的作业自适应调度。最后,本文对提出的调度算法进行了编程实现和实验验证,实验结果表明：与传统调度算法相比,本文的算法通过消耗一定时间来不断学习,提高了调度算法的自适应性和数据本地化。与原有自适应调度算法相比,改进的调度算法提高了CPU利用率和调度效率,具有更短响应时间和更高的用户满意度,集群资源也得到了充分利用。
[Abstract]:In recent years , cloud computing has developed rapidly , and many rr giants have developed the corresponding cloud computing products and services successively . As of 2013 , cloud computing industry has received great attention in the industry of financial , medical , education , telecom and electricity .
Fair scheduler supports multi - job sharing cluster , improves job parallelism and user ' s quality of service , but does not consider data localization and job characteristics when killing tasks , which can form large amount of data movement and increase network load ;
This paper puts forward an adaptive scheduling algorithm based on job classification . In addition , according to the current resource usage situation and the utilization ratio of CPU and I / O in different types of jobs in Map - shuffle phase , this paper proposes an adaptive scheduling algorithm based on job classification . In the end , the algorithm improves CPU utilization and scheduling efficiency , and has shorter response time and higher user satisfaction .
【学位授予单位】：太原理工大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP393.09;TP301.6

【相似文献】