面向数据中心多资源环境的流量调度问题研究

发布时间：2020-10-23 02:59

　　 数据中心作为承载各种服务和应用的重要基础设施,其发展经历了企业级数据中心、模块化数据中心和云计算数据中心等多个阶段。现代数据中心不仅建设规模庞大,而且也发挥着越来越重要的作用。与数据中心相关的流量调度问题引起了学术界和产业界的极大关注。一方面,不同应用所产生的数据流对于数据中心网络有着不同的传输需求,例如快速响应、稳定的传输速率以及截止时间保障等。另一方面,数据中心里的网络拥塞和传输故障时有发生,致使数据流的传输需求难以得到保障。在数据中心里,网络功能设备的广泛部署不仅显著地提高了网络的传输性能以及安全性,同时也带来了新的问题与挑战。这些设备的部署规模已经达到了与传统网络交换设备相同的数量级。传统的网络交换设备只能够对进入设备的数据包执行简单的路由转发操作。而网络功能设备却能够基于数据包的内容执行多种网络功能处理。各种网络功能的执行依赖于设备中的多种硬件资源。进入设备的数据包需要在多种硬件资源上依次地经过处理,而且不同类型的网络功能处理将不同程度地消耗这些硬件资源。在这样的多资源环境下,数据流之间的资源争用将更加剧烈。很多面向多资源的数据流量调度方法试图通过提供公平的服务来保障数据流的传输。然而在一些情况下,这些方法却并不适用。首先,基于严格的公平性约束执行调度决策会导致多资源环境下的资源浪费。本文所提出的ATFQ(ActiveTimeFairnessQueuing)队列调度方法能够在多资源环境下保障数据流之间的公平性,同时最大化资源利用率以及调度效率。在每个调度周期中,ATFQ会根据数据包的时间戳标记来决定每个数据流能够得到调度的数据包的数量,从而保障数据流之间的公平性。通过最小化数据包的总处理时间,ATFQ能够获得最高的资源利用率以及调度效率。当每个调度周期中所处理的数据包数量不同时,ATFQ对于公平性和调度效率也有着不同程度的侧重。考虑到软实时应用的数据流对于截止时间的传输要求,本文所提出的 MDFS(Multi-resourceDeadline-driven Flow Scheduling)队列调度方法能够在多资源环境下有效地保障数据流的截止时间。它不仅能够降低数据流之间的资源争用,而且可以保证已经得到调度的数据流绝对不会错过截止时间。其次,在服务链条件下数据流需要通过多个网络功能设备并且经过多种网络功能处理。数据流在不同设备上所得到的服务差异使得它在整个路径上的传输难以得到保障。本文所提出的MRouting(Multi-resource Routing)数据流调度方法用于在服务链条件下保障数据流对于截止时间的要求。考虑到数据流的发送端和接收端之间可能存在多条可用的传输路径,MRouting将执行适当的路径选择策略使新数据流以及先前得到调度的数据流都不会错过截止时间,同时提高网络吞吐量。最后,数据中心里的很多集群应用都遵循coflow传输模式。coflow被定义为两组服务器之间具有相互依赖关系的并行数据流集合。当这些数据流通过不同的网络功能设备时,coflow的整体传输需求难以得到保障。本文提出DRGC(Data Rate Guarantee for Coflow)调度方法,用于在多资源环境下保障coflow对于传输速率的需求。通过使用优先级标记,它能够在数据包级别识别不同的coflow,并确定它们的调度顺序。而凭借数据包上的时间戳标记则能够保证,所有的coflow只会占用必要的资源来维持稳定的传输速率,不会侵占多余的资源。综上所述,本文分别在数据包、数据流以及coflow级别设计了相应的调度方法来保障数据流量在多资源环境下的传输。通过大量的理论分析和实验验证,本文所提出的调度方法能够在多资源环境下有效地保障数据流对于公平性、截止时间以及传输速率等的需求。
【学位单位】：大连理工大学
【学位级别】：博士
【学位年份】：2018
【中图分类】：TP308;TP393.06
【部分图文】：

１．３研究内容以及论文结构??１．３．１研究内容??本文的主要研宄内容如图１．１所示。在数据中心里，各种类型的网络功能设备几乎??无处不在。这些设备的广泛部署不仅能够有效提升网络的整体传输性能，还能够对数据??流量执行一些必要的网络功能处理。网络功能的执行需要用到设备内部的多种硬件资源。??当数据流量在这样的多资源环境下进行处理时，它们的各种传输需求通常难以得到有效??保障。在多资源环境下执行流量调度具有以下难点：??１）

功能的执行依赖于设备内部的多种硬件资源，包括ＣＰＵ、内存以及网卡等。在这样的多??资源环境下，进入设备的数据包在进行处理时需要遵循一些特定的规则。假设设备中共??有Ｍ种硬件资源巧，尽如图２．１所示，相同颜色的图形表示同一个数据包在不??同硬件资源上的处理过程。此时的数据包处理过程遵循以下规则：??－２１?－??

々＇??图２．１多资源环境下的数据包处理过程??Ｆｉｇ．?２．１?Ｐａｃｋｅｔ?Ｐｒｏｃｅｓｓｉｎｇ?ｉｎ?Ｍｕｌｔｉ－ｒｅｓｏｕｒｃｅ?Ｅｎｖｉｒｏｎｍｅｎｔｓ??数据中心作为承载各种服务和应用的重要基础设施，其内部不仅部署了大量的网络??交换设备，还部署了同等数量级的中间盒设备。这些设备可以执行多种网络功能处理，??包括负载均衡、入侵检测以及防火墙等％因此它们也被称为网络功能设备。各种网络??功能的执行依赖于设备内部的多种硬件资源，包括ＣＰＵ、内存以及网卡等。在这样的多??资源环境下，进入设备的数据包在进行处理时需要遵循一些特定的规则。假设设备中共??有Ｍ种硬件资源巧，尽如图２．１所示，相同颜色的图形表示同一个数据包在不??同硬件资源上的处理过程。此时的数据包处理过程遵循以下规则：??－２１?－??
【参考文献】

相关期刊论文 前5条

1 邓罡;龚正虎;王宏;;现代数据中心网络特征研究[J];计算机研究与发展;2014年02期

2 李丹;陈贵海;任丰原;蒋长林;徐明伟;;数据中心网络的研究进展与趋势[J];计算机学报;2014年02期

3 魏祥麟;陈鸣;范建华;张国敏;卢紫毅;;数据中心网络的体系结构[J];软件学报;2013年02期

4 王意洁;孙伟东;周松;裴晓强;李小勇;;云计算环境下的分布存储关键技术[J];软件学报;2012年04期

5 罗军舟;金嘉晖;宋爱波;东方;;云计算:体系架构与关键技术[J];通信学报;2011年07期

本文编号：2852466