云计算下硬件资源度量方式及其任务调度策略研究
发布时间：2020-08-03 09:50
【摘要】：在现代数据中心中,异构机器的数量成千上万,且它们之间的硬件资源细粒度异构性表现明显,如不同的处理器体系架构、CPU主频、CPU缓存大小、内存型号、内存容量以及硬盘的I/O读写速度等等。然而,当前数据中心对资源的度量是粗粒度的,如CPU个数和内存大小的组合。这种粗粒度的资源度量方式忽略了不同机器之间硬件的细粒度异构性,没有考量异构机器的实际计算能力。因此,它不能使资源分配和任务调度达到性能最优,减慢了任务处理的时间。针对上述问题,本文提出 SMHC(a synthetic metric for heterogeous cloud resources)—一个合成的云资源度量方式,它的主要作用有:1.SMHC考虑了五种细粒度硬件资源(CPU型号、CPU主频大小、CPU三级缓存大小以及内存频率、硬盘I/O读写速度),它们通过加权的方式组合起来,比较准确地反映出一台服务器的计算能力。2.SMHC通过线性组合的数学模型,综合评估了粗粒度和细粒度的异构硬件资源对大数据处理任务的加速效果。3.集群资源管理系统可以基于SMHC,设计出根据异构机器实际计算能力比较的任务调度策略,有效利用异构机器的计算能力,加速任务运行。为了验证SMHC的有效性,针对Spark大数据处理任务,本文提出一种通过异构机器之间SMHC加速因子比较的任务调度策略,并在流行的分布式资源管理系统Mesos上得以实现。在异构的集群环境中,基于SMHC的加速因子大小比较,调度器能够将大数据处理任务优先地调度到计算性能较好的机器上运行。实验结果表明,与Mesos原有基于粗粒度资源度量单位的调度策略相比,基于SMHC的任务调度策略能更能有效利用异构机器的计算能力,平均降低Spark任务运行时间约16.7%。
【学位授予单位】：中国科学院大学(中国科学院深圳先进技术研究院)
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP308
【图文】：
图２．１调度模块总体结构图逡逑Ｆｉｇｕｒｅ邋２．１邋Ａ邋ｇｅｎｅｒａｌ邋ｓｔｒｕｃｔｕｒｅ邋ｏｆ邋ｓｃｈｅｄｕｌｉｎｇ逡逑如图２．１所示，集群资源管理系统中一个任务的调度过程如下？？用户通过任逡逑务提交入口提交所需要运行的计算任务，并通过粗粒度的硬件度T岱绞轿渲稿义隙ㄋ璧募扑阕试矗纾茫校蘸耸⒛诖娲笮『陀才倘萘俊Ｌ峤坏娜挝癖凰偷藉义希瑰义
本文编号：2779457
【学位授予单位】：中国科学院大学(中国科学院深圳先进技术研究院)
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP308
【图文】：
图２．１调度模块总体结构图逡逑Ｆｉｇｕｒｅ邋２．１邋Ａ邋ｇｅｎｅｒａｌ邋ｓｔｒｕｃｔｕｒｅ邋ｏｆ邋ｓｃｈｅｄｕｌｉｎｇ逡逑如图２．１所示，集群资源管理系统中一个任务的调度过程如下？？用户通过任逡逑务提交入口提交所需要运行的计算任务，并通过粗粒度的硬件度T岱绞轿渲稿义隙ㄋ璧募扑阕试矗纾茫校蘸耸⒛诖娲笮『陀才倘萘俊Ｌ峤坏娜挝癖凰偷藉义希瑰义
本文编号：2779457
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2779457.html
