混合云环境下资源调度与管理若干问题研究

发布时间：2018-05-12 02:28

本文选题：云计算 + 异构任务　；参考：《北京邮电大学》2017年博士论文

【摘要】：随着云计算技术的不断发展,越来越多的国内外公司推出各种云产品和云解决方案,越来越多的企业使用云计算技术部署系统,企业的云环境日益复杂。根据云资源提供者和使用者的关系可以分为私有云、公有云、混合云,用户可以选择使用多个云解决方案和公有云服务。部署在云上的应用内部任务的相互关系,可能相互独立,也可能是相互依赖,任务之间有数据传输的相互依赖关系的应用,也称为科学工作流。本文关注的混合云环境包括三个方面:运行在云平台上的异构QoS( Quality of Service,服务质量)和 SLA ( Service Level Agreement,服务等级协议)需求的任务或应用的混合;单个云内部资源性能异构、动态变化、节点失效等不确定性因素的混合;私有云和公有云等不同云平台的混合。分别针对相互独立的任务在单个私有云数据中心、单个科学工作流在单个或多个私有云平台、多个科学工作流在混合云平台、企业系统在多个混合云平台四种情况下,研究调度与管理问题。1)提出了基于混合预测的异构任务调度和管理方法MPHW(Multi-Prediction based scheduling for Heterogeneous Workloads) ,解决异构QoS和SLA需求混合的独立任务在单个私有云数据中心的调度与管理问题,保障高优先级任务的性能,同时提高了有效资源利用率。建立了异构任务的优先级模型,设计了离线训练的ARMA(Auto-Regressive and Moving Average, 自回归移动平均) 模型和在线反馈的AR (Auto-Regressive,自回归)模型混合的负载预测算法,并提出了基于预测的动态资源预留和任务抢占的调度策略。仿真实验结果表明,相对于基于即时可用资源量的抢占式调度算法,使用基于混合预测和动态资源预留的异构任务调度算法,能够减少70%主机过负载和任务失败,减少超过50%的由失败任务造成的资源浪费,提高有效资源利用率超过65%。此外,对于低QoS、SLA任务来说,时间延迟也是可以接受的。2)提出了一种科学工作流在不可靠私有云上的动态调度算法DEFT (Dynamic Earliest-Finish-Time),减小了工作流完工时间,提高了调度的健壮性。DEFT根据运行期资源的计算和传输速度,进行实时单次调度,应对资源性能异构、动态变化、存在失效等不确定性因素。定义了新的调度健壮性衡量指标CV (Coefficient of Variations,变异系数),更准确衡量调度算法产生短的、平稳分布的完工时间的能力。实验表明,使用DEFT比现有的最优的基于任务列表的静态调度算法PEFT和动态调度算法DCP- G,工作流完工时间缩短超过20%,且健壮性更好。3)提出了一种数据密集型科学工作流在混合云上的动态调度算法HCOD (Hybrid Cloud Optimized Data),减小了云平台之间数据传输量,同时,降低了费用开销。设计了快速的双层禁忌搜索图划分算法DLTS(Double-Level Tabu Search),划分大型数据密集型科学工作流。将子工作流作为调度的最小单位,减小了调度在不同云平台的任务之间的数据传输量。仿真实验表明,本算法在降低费用开销、减小数据传输量等方面都有很好的表现。4)提出了一种规范化的系统混合云迁移的策略制定方法,引导企业逐步理顺目标约束、分析决策、制定云迁移方案。提出了循环演进的企业系统混合云迁移策略制定步骤,确保了迁移策略的可实现性。提出了层次化分析方法,为互斥的、不可量化的目标、约束、云服务提供了统一的分析比较方法。使用网络服务运营支撑系统作为用例,分析其云化需求和约束,制定云迁移方案,确定系统各个应用和功能模块应该使用何种云部署和迁移方式。本方法作为指导思想,应用在国内某电信运营商运营支撑系统云化项目的需求分析和设计阶段。
[Abstract]:With the development of cloud computing technology , more and more companies are launching various cloud products and cloud solutions . More and more enterprises use cloud computing technology to deploy systems , and the cloud environment of enterprises is increasingly complex . The hybrid cloud environment includes three aspects : heterogeneous QoS ( Quality of Service ) and SLA ( Service Level Agreement ) requirements . The hybrid cloud environment includes three aspects : heterogeneous QoS ( Quality of Service ) and SLA ( Service Level Agreement ) . This paper presents a new dynamic scheduling algorithm called DEFT ( Dynamic Earliest - Finish - Time ) , which can reduce the amount of data transfer between different cloud platforms by using DEFT ( Dynamic Earnest - Finish - Time ) . A unified analysis and comparison method is provided for mutually exclusive , non - quantifiable targets , constraints and cloud services . Using the network service operation support system as an example , the cloud needs and constraints are analyzed , the cloud migration scheme is developed , and the cloud deployment and migration method should be used for each application and function module of the system .

【学位授予单位】：北京邮电大学
【学位级别】：博士
【学位授予年份】：2017
【分类号】：TP393.09

【参考文献】