面向异构作业集群的动态混合调度与资源管理框架

发布时间：2020-06-07 18:01

【摘要】：随着分布式计算的快速发展,越来越多的应用程序被部署在大规模服务器集群中。集群通常被多个用户所共享,运行着大量多源异构的作业,它们在资源需求、运行时间和优先级方面都存在较大区别。因此,在管理这些异构作业的过程中,良好的作业分类方法和动态的资源调控策略,对集群任务吞吐量和计算资源利用率的提升意义重大。然而,目前一些通用的集群管理系统仍然存在一些问题:首先,作业申请的计算资源配额经常过高,系统缺少对资源过度申请现象的检测;其次,主要着重于面向对单一类型的作业进行管理,缺乏从多个方面分析异构作业特征的功能;最后,未结合作业特征进行动态的资源调控和任务调度,难以让这些异构作业全都获得相对合理的运行环境。针对上述三个问题,本文提出了面向异构作业集群的的动态混合调度与资源管理框架,旨在将作业特征归类结果与基于作业特征的调度方法相结合。该框架持续地收集集群作业运行数据,通过资源预判算法调整作业资源配额;依据分类模型和匹配策略产生作业特征归类与容器匹配结果;基于不同的执行规则将不同类型的容器指派给不同的调度器,然后依据相应调度策略将容器分发至服务器节点,以实现动态混合和低延迟的任务调度。本文的主要研究内容如下:(1)提出资源过度申请预判方法本文针对作业资源过度申请现象,提出了基于TAN贝叶斯网络的资源过度申请预判方法。根据集群历史作业的资源申请量、计算数据量和运行时间段等信息生成面向作业的资源过度申请检测模型,从而为未来的作业调控资源配额。(2)提出面向容器类型匹配的作业特征归类方法本文针对集群作业的多源异构性,提出了面向容器类型匹配的作业特征归类方法,从三方面分析了作业特征,通过决策树和累积分布方法将作业特征归类,进而将具有不同特征的作业匹配到不同类型的容器,并参考资源过度申请预判结果为容器调控资源,容器类型匹配结果将被作用于调度环节。这些步骤共同构成了作业预处理过程。(3)提出结合作业特征的动态混合调度机制本文针对类型丰富、特征各异的作业,提出了结合作业特征的动态混合调度机制。在任务调度方面,根据容器类型和集群实时运行状态执行动态混合的容器冲突解决、调度器匹配及节点选取等策略;在资源管理方面,提出了针对服务器节点的CPU和内存资源预测模型,实现对闲置资源的检测和利用。(4)构建基于动态混合调度与资源管理框架的原型系统本文基于动态混合调度与资源管理框架构建了一个原型系统,用于验证该框架在实际应用场景中的有效性和可靠性。原型系统分为集群应用管理和资源管理两个模块:应用管理模块用于提交作业及相关配置信息;资源管理模块用于设置任务调度和资源管理相关策略所需的阈值,并监控集群的整体资源使用状态和作业类型分布情况。
【图文】：

工作流程图,平台应用,工作流程,常规

本章将分析典型集群应用的业务需求及业务场景，以明确随后，将提出针对本文应用场景所构建的系统框架，以及和组织方式。最后，我们将对本章内容做一个总结。场景云服务技术经常被用于为各类应用提供在线的数据计算支应用程序时（如记账 APP），通常是在应用中发出增删改后被转发到应用的后台程序进行对应的查询或处理，并将另一方面，近年来越来越多的应用运营商都趋向于将应用。将应用部署在云平台的前提是，运营开发商需要自行决的计算资源，并将资源申请信息与应用代码打包一并提交台的资源管理和调度系统来为应用程序分配资源，并负责资源监控。这类应用的工作流程如图 2-1 所示。

场景,目标

图 2-2 业务场景与本文目标Fig. 2-2 Business scenarios and targets of this paper针对这些目标，本文将对集群应用衍生作业进行资源调控与特征归类，并结合作业特征与集群本身的运行状态属性提出一种动态混合调度机制。本文方法的优势在于：（1）从应用开发商角度，本文的资源过度申请预判方法帮助他们从一定程度上减少了由过度申请导致的资源浪费；（2）从集群运营商角度，本文的框架可通过对作业历史运行数据的分析得出多源异构作业的特征归类方法，在集群运行一段时间后，作业特征可在作业被提交时根据配置信息自动分析得出，，无需由集群运营商手动操作。在不同的集群状态下，每种作业可以被动态分配给一种调度器，使调度吞吐量和资源利用率得到提升。在本文的调度策略下，不同类型的作业具有不同的执行规则和优先级；（3）从应用用户角度，得益于以上这些规则，可以避免由作业资源竞争引起的用户体验问题。2.2 系统框架
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP315;TP311.13

【相似文献】