数据中心中多租户多目标的网络切片技术
发布时间:2020-07-05 07:57
【摘要】:随着国内外云服务的不断发展,云服务背后所依托的数据中心也在快速发展。数据中心里的计算、存储和网络等资源都通过一些虚拟化的方式为租户提供定制化的服务,保证租户的资源需求。对于云服务公司来说,定制化的服务可以吸引更多的中小型企业和用户将其IT服务转移到云端,提高云服务的资源利用率,同时也提升了公司收益。对于租户来说,他们不用关注IT环境部署,减少了维护成本,同时可以集中精力进行业务发展。本论文对数据中心网络中多租户多目标的带宽分配问题进行研究,这里的目标指的是数据流的时延、平均完成时间等指标。通过优化网络带宽资源分配,我们可以提高数据中心网络的利用率,进而提高上层IT服务质量。数据中心中的带宽分配需要同时支持多租户之间的带宽隔离和租户内部的数据流的目标优化。本论文提出一个“租户-目标”切片概念,用来表示一个租户内同一网络性能目标里的所有数据流,每个切片由多个隧道组成,每个隧道容纳切片内一对虚拟机之间的所有数据流。本论文提出了一个栈式拥塞控制框架(SCC),作为中介层运行于宿主机的虚拟管理程序中。栈式拥塞控制框架是一个分布式的基于主机端的带宽分配设计,由上下两层构成,其中底层拥塞控制子框架(UCC)处理不同切片之间的带宽分配,上层私有拥塞控制子框架(PCC)对每个切片内部的数据流进行目标优化。每个切片通过一定策略赋予给定权重Ws,上下两层通过切片内部的隧道连接起来,并且每个隧道被赋予一个权重Wt。底层拥塞控制子框架维持切片内所有隧道权重之和等于切片权重∑(?)t∈sWt = Ws,从而分布式地、对租户透明地实现切片之间的带权重的带宽分配;同时UCC对底层网络提供了统一的拥塞控制策略,解决了不同目标协议共存相互干扰的问题。上层私有拥塞控制框架根据隧道内数据流的目标特性动态计算隧道的权重,进而实现切片内隧道之间带宽动态分配,实现目标优化。我们在每个隧道的入口部署了一个发送队列限速器,这样可以将切片之间带宽隔离和切片内目标优化机制完全分离开,使得我们的框架更加灵活可扩展。最后,我们通过小规模的实验床实验和大规模的NS-2仿真实验来验证我们的系统设计方案。与多目标协议直接共存的情景相比,SCC能够较好地解决多目标协议共存相互干扰的问题,同时实现了租户之间的带宽按权重分配隔离。
【学位授予单位】:南京大学
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP308;TP393.09
【图文】:
而一些大数据分布式系统(如Hadoop,Spark)应运而生,用来处理这种更大级逡逑别的数据集。这就需要高质量的网络通信来提高大数据的处理速度。同时,人逡逑们对于Web服务质丨卩:要求越来越高,Web需要提供更可靠低时延的服务。总而逡逑言之,在当今的数据中心里,运行着不同的应用(如Web搜索,广告服务,数逡逑据处理,视频网站等),而这些服务对网络的目标需求却不尽相同,有的需要逡逑保证低时延,有的需要保证高带宽。逡逑根据思科公司的一个白皮书报告|71,到2021年,数据中心内部网络流逡逑量?将达到71.5%。随着数据中心里的业务不断扩展,应用规模不断增大,数据逡逑中心网络架构面临着巨大的挑战。为了满足业务的需求,提供高性能高可靠的逡逑服务,数据中心网络架构发生了很大的变化,由(‘核心-汇聚-接入”这种传统的三逡逑层网络架构转向扁平的“Leaf-Spine”的Clos网络架构,由昂贵的专有网络设备逡逑转向基于廉价芯片的商用交换机,提高了可扩展性,能够更好的满足数据中心逡逑内部的网络通信。如图1-1,这种三层传统网络架构不能很好地满足数据中心逡逑内部大量的通信。而图1-2中的Clos拓扑模型采用用多个小规模、低成本的单逡逑元构建出复杂,大规模的架构。逡逑
1.1研究背景3逡逑中心里的各种应用服务。这样的架构在十年内将带宽容量提升了邋100倍,提逡逑供了超过lPbps的双向带宽。除了谷歌的这种架构,其他巨头公司(如微软、逡逑Facebook、领英等)在其自家内部数据中心里也提出相应的新的网络架构W。逡逑虽然现代数据中心网络的带宽容量获得很大的提升,但是当网络利用率达逡逑到25%时候,网络中依然会出现严重的拥塞丢包现象。造成网络拥塞的原因有逡逑很多种:逡逑1.在短时间内产生大黾突发流、出现TCP邋Incast问题?,如图1-3,邋ToR交换逡逑机和主机端的扇入N包占到总丢包的98.7%。逡逑2.商用交换机的内存容量有限,一般每个端口只有8个队列。逡逑3.为了节约成本,网络部分区域总会存在超占比(Oversubscription)现象,如逡逑图1-3,比如ToR上行链路超占比,当网络负载较大时候,ToR交换机会出逡逑现拥塞现象。逡逑4.当流分布不均匀和发生故障时候,数据流的哈希运算存在缺陷。逡逑Spine网络结构逡逑
【学位授予单位】:南京大学
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP308;TP393.09
【图文】:
而一些大数据分布式系统(如Hadoop,Spark)应运而生,用来处理这种更大级逡逑别的数据集。这就需要高质量的网络通信来提高大数据的处理速度。同时,人逡逑们对于Web服务质丨卩:要求越来越高,Web需要提供更可靠低时延的服务。总而逡逑言之,在当今的数据中心里,运行着不同的应用(如Web搜索,广告服务,数逡逑据处理,视频网站等),而这些服务对网络的目标需求却不尽相同,有的需要逡逑保证低时延,有的需要保证高带宽。逡逑根据思科公司的一个白皮书报告|71,到2021年,数据中心内部网络流逡逑量?将达到71.5%。随着数据中心里的业务不断扩展,应用规模不断增大,数据逡逑中心网络架构面临着巨大的挑战。为了满足业务的需求,提供高性能高可靠的逡逑服务,数据中心网络架构发生了很大的变化,由(‘核心-汇聚-接入”这种传统的三逡逑层网络架构转向扁平的“Leaf-Spine”的Clos网络架构,由昂贵的专有网络设备逡逑转向基于廉价芯片的商用交换机,提高了可扩展性,能够更好的满足数据中心逡逑内部的网络通信。如图1-1,这种三层传统网络架构不能很好地满足数据中心逡逑内部大量的通信。而图1-2中的Clos拓扑模型采用用多个小规模、低成本的单逡逑元构建出复杂,大规模的架构。逡逑
1.1研究背景3逡逑中心里的各种应用服务。这样的架构在十年内将带宽容量提升了邋100倍,提逡逑供了超过lPbps的双向带宽。除了谷歌的这种架构,其他巨头公司(如微软、逡逑Facebook、领英等)在其自家内部数据中心里也提出相应的新的网络架构W。逡逑虽然现代数据中心网络的带宽容量获得很大的提升,但是当网络利用率达逡逑到25%时候,网络中依然会出现严重的拥塞丢包现象。造成网络拥塞的原因有逡逑很多种:逡逑1.在短时间内产生大黾突发流、出现TCP邋Incast问题?,如图1-3,邋ToR交换逡逑机和主机端的扇入N包占到总丢包的98.7%。逡逑2.商用交换机的内存容量有限,一般每个端口只有8个队列。逡逑3.为了节约成本,网络部分区域总会存在超占比(Oversubscription)现象,如逡逑图1-3,比如ToR上行链路超占比,当网络负载较大时候,ToR交换机会出逡逑现拥塞现象。逡逑4.当流分布不均匀和发生故障时候,数据流的哈希运算存在缺陷。逡逑Spine网络结构逡逑
【相似文献】
相关期刊论文 前10条
1 宋杰;孙宗哲;刘慧;鲍玉斌;于戈;;混合供电数据中心能耗优化研究进展[J];计算机学报;2018年期
2 钱一飞;扈永正;焦斌;;数据中心运维管理之我见[J];中国新通信;2018年12期
3 ;阿里再度联手数据港合建数据中心[J];电脑知识与技术(经验技巧);2018年06期
4 赵吉志;;浅谈数据中心绿色分级评估方法[J];科技浪潮;2012年05期
5 ;云操作系统 云数据中心神经系统[J];科技浪潮;2011年S1期
6 赵吉志;;数据中心效能评估指标简介[J];科技浪潮;2013年02期
7 ;浪潮推出云海集装箱数据中心[J];科技浪潮;2011年02期
8 ;浪潮“行业云”和云数据中心演示引人注目[J];科技浪潮;2011年02期
9 ;云操作系统 云数据中心神经系统[J];科技浪潮;2011年03期
10 ;浪潮发布云海集装箱数据中心[J];科技浪潮;2011年03期
相关会议论文 前10条
1 杨羽虎;;甘肃省烟草专卖商业系统数据中心面临的安全风险及对策[A];中国烟草学会2016年度优秀论文汇编—— 信息化管理主题[C];2016年
2 关丽红;刘彦
本文编号:2742329
本文链接:https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2742329.html