云计算中基于任务特性和资源约束的调度方法研究

发布时间：2019-01-08 20:39

【摘要】：在云计算这种商业化的计算模型和服务模式中,如何根据用户提交的任务需求,对资源进行合理的按需分配是云计算调度的重要研究内容,但目前该领域还存在很多如资源的动态性、超大规模、高能耗、任务对资源需求的多样性及任务的多样化约束等问题,这些问题会影响云计算中的调度效率乃至云计算的服务质量并成为云计算发展的制约因素,因此在考虑调度问题时若能面向这些问题考虑任务和资源的相关特性有针对性地提出相应调度优化方法将有利于调度效率和服务质量的提高,更有利于云计算的发展。本文首先对论文的主要研究问题——云计算中的调度问题进行了比较全面的调研分析。探讨了目前云计算调度的研究现状,并从以性能为中心、服务质量为中心和经济原则为中心这三个方面对相关研究工作以及当前主流云计算平台所采用的云计算调度方法进行深入分析,归纳总结了现有云计算调度的研究中存在的一些问题。针对这些问题,本文在考虑任务特性和资源约束的基础上提出了一系列的调度优化方法。(1)为了更好的描述和体现云计算中资源的动态性、任务的多样性、资源和任务的多约束等特性,本文提出了一个基于熵优化的资源任务模型。对任务和资源特性进行分析挖掘,根据任务和资源特性对资源进行预处理。针对任务多样性采用聚类的方法对任务进行分类,并利用动态评估指标按照资源的计算能力对资源进行动态聚类,同时根据资源的负载对资源进行动态评估,将资源负载分为过载、过闲和正常三种状态。在对资源和任务预处理的基础上提出了一个基于熵优化原理的资源任务模型,根据不同任务分布对应的熵值,从熵最大时满足的任务和资源约束的角度,反映了任务对资源的需求特性和任务本身的特点,并实现了保障用户和资源提供者双方利益的目标。该模型具有一定通用性,可适合各种不同的云计算应用中。(2)为解决资源的动态性、超大规模特性和能耗等问题,本文提出了一个能耗感知的动态调度优化方法——STDWEM(Self-adaptive Threshold Dynamic Weighted Evaluation and Scheduling Mothod)。针对云资源的动态性和超大规模特性,在资源任务模型的动态负载评估基础上,提出了一个能耗感知的动态调度优化方法。该方法对评估结果将过载资源迁移以均衡负载,提高资源利用率;将过闲资源释放以节省能耗,从而实现多目标的资源整合优化。在资源迁移时引入了任务迁移系数及自适应阈值,即在任务分配时考虑资源的负载状态。同时该调度方法还包括一个能耗评估模型,该模型可以定量描述资源整合前后的能耗。为验证该调度方法的有效性,实验分别验证了该方法在调度性能、动态自适应性、能耗等方面的效果。实验结果证明对资源动态聚类和任务调度时考虑资源负载都有利于调度效率的提高。相对于类似采用资源评估和考虑能耗的调度方法,该方法能明显减少能耗,最大有近31.5%的能耗节省。而且在响应时间和系统利用率方面都有非常大的优势,尤其是当资源动态加入或退出时,表现出很好的稳定性和自适应性。(3)针对资源动态性及其任务对资源需求的多样化差异问题,本文提出了一个多队列错峰调度方法——MIPSM(Multi-queue Interlacing Peak Scheduling Method)。首先利用资源任务模型中的任务分类方法将任务划分为三个队列——CPU密集型、I/O密集型和内存密集型,在任务分类时可以根据权重调节因子调整CPU、I/O和内存的权重,从而对不同应用的任务体现不同的侧重。在任务分类的基础上根据任务对资源的差异需求有针对性地分配资源,同时考虑资源的负载状态,对资源按CPU、I/O和内存负载进行排序,调度时将三个队列的任务分别调度至该指标负载较轻的资源上,通过错峰调度满足任务对资源的差异化需求。本文在仿真环境和真实日志上分别验证了调度方法的效果,实验结果证明,任务分类明显有利于提高调度效率,相对于其它采用任务分类的类似方法,本文的调度方法在响应时间、资源利用率、截止时间违反率等方面都有很好的表现,尤其是随着任务数的增多,表现出更大的优势。(4)针对云计算中任务的面临来自用户、资源等多样性约束问题,本文提出了一个面向任务约束多样性的多目标优化调度方法——MOSACO(Multi-objective Optimization Scheduling Method Based on Ant Colony Optimization Algorithm)。首先提出了两种单目标调度优化策略—Time-First和Cost-First,分别以截止时间和费用优先满足任务的截止时间、预算费用等多样性约束。同时为最大化用户QoS和资源提供商利益,采用资源任务模型中提出的熵优化模型中用户和资源提供商的目标函数约束,结合两个调度优化方法建立了多目标优化调度模型,并通过蚁群算法来求解。实验分别采用了仿真实验和混合云应用实例实验进行验证,结果显示,相比其它考虑费用和截止时间约束的类似方法,单目标优化策略Cost-First和Time-First分别在费用和调度完成时间方面表现出较大优势,而且本文的多目标优化方法无论在调度完成时间、费用、截止时间超出率和资源利用率等方面都表现很好,证明了本文所提调度方法的有效性。
[Abstract]:......
【学位授予单位】：华南理工大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP18;TP3

【相似文献】