数据中心虚拟化环境下任务级流调度机制的研究与实现
发布时间：2020-08-08 15:52
【摘要】：随着云计算和虚拟化技术的不断成熟以及云服务的不断丰富,越来越多的应用被部署在云数据中心虚拟化环境下。由于分布式的特点,数据中心应用的性能与网络传输性能密切相关,其网络传输需求通常表示为传输任务,每个任务由若干条分布式的流组成,因此研究人员通常采用流调度技术优化应用的网络传输性能。根据应用对网络传输性能的不同需求,可将任务分为延迟敏感型任务,如Web服务的任务;和带宽敏感型任务,如MapReduce应用的任务。数据中心虚拟化环境下异构混杂的任务并存,给数据中心流调度带来了巨大挑战,主要体现在两个方面:1)不同类型的任务竞争共享的网络资源,难以同时满足不同类型任务的网络传输性能需求;2)不同效用特征的带宽敏感型任务无差别分配资源,难以高效用的利用有限的网络资源。现有工作未能有效针对数据中心虚拟化环境下异构混杂的任务特点,难以应对上述挑战。因此,本文对数据中心虚拟化环境下任务级流调度问题进行研究,主要从流调度机制的两个关键步骤,即流队列管理和全局流调度两个方面开展理论研究,具体包括如下内容:首先,针对因为不同类型的任务竞争共享的网络资源而难以同时满足不同类型任务的网络传输性能需求的挑战,研究任务类型感知的虚拟化层流队列管理机制。本文基于对任务类型的感知,实现对不同类型任务流量的隔离,同时针对应用网络负载强度的动态变化,对不同类型任务的权重进行调整,从而提升网络传输性能,保证不同类型任务对网络传输性能的需求。其次,针对因为不同效用特征的带宽敏感型任务无差别分配资源而难以高效用的利用有限的网络资源的挑战,研究面向异构时间敏感程度的全局流调度机制。基于全局任务感知,对同一任务中的多条分布式的流进行统一的调度,以适应任务的分布式特点,同时,采用效用函数对不同任务对完成时间的敏感程度进行建模,在保证任务之间效用公平性的同时尽可能的提升系统带宽资源分配效用。最后,设计并实现数据中心虚拟化环境下任务级流调度系统。本文基于东南大学云计算平台真实环境,将理论研究成果与实践相结合,设计并实现了原型系统,并进行了部署和实验。通过在东南大学云计算中心实际环境中的实验结果表明,本文所提出的数据中心虚拟化环境下任务级流调度机制能够较好的为不同类型任务提供网络传输性能保证,同时保证任务之间效用公平性并提高系统带宽资源分配效用,实现了高性能、高效用的任务级流调度。
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP308;TP393.09
【图文】：
图 3-6 延迟敏感任务流大小分布 CDF 曲线应用流量数据由两部分构成，第一部分是延迟敏感型任务的流量，来自世界杯期间92 天内其网站访问的近 10 亿条请求记录[37]。本文对该数据集的流大小分布进行了分析，得出流大小分布的 CDF 曲线如图 3-6 所示。从图中可以看出，95%以上的流大小都在 100 字节到 1MB 之间。第二部分是带宽敏感型任务的流量，来自 Facebook 公司 150个机架包含 3000 台服务器的 MapReduce 集群一小时内的任务传输记录[38]，其流大小分布的 CDF 曲线如图 3-7 所示。从图中可以看出，所有的流大小都在 1MB 以上，近 80%的流大小在 1MB 到 1GB 之间。
图 3-6 延迟敏感任务流大小分布 CDF 曲线应用流量数据由两部分构成，第一部分是延迟敏感型任务的流量，来自世界杯期间92 天内其网站访问的近 10 亿条请求记录[37]。本文对该数据集的流大小分布进行了分析，得出流大小分布的 CDF 曲线如图 3-6 所示。从图中可以看出，95%以上的流大小都在 100 字节到 1MB 之间。第二部分是带宽敏感型任务的流量，来自 Facebook 公司 150个机架包含 3000 台服务器的 MapReduce 集群一小时内的任务传输记录[38]，其流大小分布的 CDF 曲线如图 3-7 所示。从图中可以看出，所有的流大小都在 1MB 以上，近 80%的流大小在 1MB 到 1GB 之间。
VM5VM6VM7VM8图 3-8 实验拓扑.2 实验结果基于以上实验设置，本文从三个方面进行了实验测试：1）延迟敏感型任务的报迟；2）带宽敏感型任务的流完成时间和流带宽满足率；3）负载强度动态变化迟敏感型任务的报文传输延迟。详细实验结果如下：实验结果 1. 延迟敏感型任务的报文传输延迟在实验 1 中，本文测试了在延迟敏感型任务和带宽敏感型任务流量负载不同配，延迟敏感型任务的报文传输延迟。实验分别应用了 Fair Sharing 策略、当前于优先级的策略 PIAS、以及本文提出的任务类型感知的虚拟化层流队列管理h。实验得到的报文传输延迟 CDF 曲线如图 3-9、图 3-10、图 3-11 和图 3-12 所报文延迟如表 3-1 所示。
本文编号：2785775
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP308;TP393.09
【图文】：
图 3-6 延迟敏感任务流大小分布 CDF 曲线应用流量数据由两部分构成，第一部分是延迟敏感型任务的流量，来自世界杯期间92 天内其网站访问的近 10 亿条请求记录[37]。本文对该数据集的流大小分布进行了分析，得出流大小分布的 CDF 曲线如图 3-6 所示。从图中可以看出，95%以上的流大小都在 100 字节到 1MB 之间。第二部分是带宽敏感型任务的流量，来自 Facebook 公司 150个机架包含 3000 台服务器的 MapReduce 集群一小时内的任务传输记录[38]，其流大小分布的 CDF 曲线如图 3-7 所示。从图中可以看出，所有的流大小都在 1MB 以上，近 80%的流大小在 1MB 到 1GB 之间。
图 3-6 延迟敏感任务流大小分布 CDF 曲线应用流量数据由两部分构成，第一部分是延迟敏感型任务的流量，来自世界杯期间92 天内其网站访问的近 10 亿条请求记录[37]。本文对该数据集的流大小分布进行了分析，得出流大小分布的 CDF 曲线如图 3-6 所示。从图中可以看出，95%以上的流大小都在 100 字节到 1MB 之间。第二部分是带宽敏感型任务的流量，来自 Facebook 公司 150个机架包含 3000 台服务器的 MapReduce 集群一小时内的任务传输记录[38]，其流大小分布的 CDF 曲线如图 3-7 所示。从图中可以看出，所有的流大小都在 1MB 以上，近 80%的流大小在 1MB 到 1GB 之间。
VM5VM6VM7VM8图 3-8 实验拓扑.2 实验结果基于以上实验设置，本文从三个方面进行了实验测试：1）延迟敏感型任务的报迟；2）带宽敏感型任务的流完成时间和流带宽满足率；3）负载强度动态变化迟敏感型任务的报文传输延迟。详细实验结果如下：实验结果 1. 延迟敏感型任务的报文传输延迟在实验 1 中，本文测试了在延迟敏感型任务和带宽敏感型任务流量负载不同配，延迟敏感型任务的报文传输延迟。实验分别应用了 Fair Sharing 策略、当前于优先级的策略 PIAS、以及本文提出的任务类型感知的虚拟化层流队列管理h。实验得到的报文传输延迟 CDF 曲线如图 3-9、图 3-10、图 3-11 和图 3-12 所报文延迟如表 3-1 所示。
【参考文献】
相关期刊论文 前1条
1 罗军舟;金嘉晖;宋爱波;东方;;云计算:体系架构与关键技术[J];通信学报;2011年07期
本文编号：2785775
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2785775.html
