数据中心内Incast流量的网内聚合研究

发布时间：2017-08-21 07:25

  本文关键词：数据中心内Incast流量的网内聚合研究

  更多相关文章： 网内聚合 数据中心 incast传输 shuffle传输 网络流量

【摘要】：MapReduce等分布式计算系统应用在数据中心内产生了严重的东西向流量,其中以incast和shuffle为代表的关联性流量占相当大的比重,进而严重影响到上层应用的性能.这促使研究者们考虑在这些关联性流量的网内传输阶段尽可能早而不是仅在流量的接收端进行流间数据聚合.首先以新型数据中心网络结构为背景讨论流间数据聚合的可行性和增益,为最大化该增益,为incast传输建立最小代价树模型.为解决该模型,提出了2种近似的incast树构造方法,其能够仅基于incast成员的位置和数据中心拓扑结构生成一个有效的incast树,进一步解决了incast树的动态和容错问题.最后,采用原型系统和大规模仿真的方法评估了incast流量的网内聚合方法,实验结果证明该方法能大幅降低incast流量造成的传输开销,能节约数据中心的网络资源.同时,提出的模型和解决方法也适用于其他类型的数据中心网络结构.
【作者单位】： 信息系统工程国防科技重点实验室(国防科学技术大学);
【关键词】： 网内聚合 数据中心 incast传输 shuffle传输 网络流量
【基金】：国家自然科学基金优秀青年科学基金项目(61422214)~~
【分类号】：TP308
【正文快照】： 大规模数据中心不仅服务于各类在线云应用,而且还直接服务于大规模分布式计算系统,如MapReduce[1],Dryad[2],CIEL[3],Pregel[4]和Spark[5]等.这些分布式计算系统向数据中心提交大量处理作业,每项作业都可能需要使用数据中心内大量的服务器.这些计算系统普遍遵从流计算模式,即

【共引文献】

中国期刊全文数据库 前2条

1 Han QI;Muhammad SHIRAZ;Jie-yao LIU;Abdullah GANI;Zulkanain ABDUL RAHMAN;Torki A.ALTAMEEM;;Review:Data center network architecture in cloud computing:review, taxonomy, and open research issues[J];Journal of Zhejiang University-Science C(Computers & Electronics);2014年09期

2 朱桂明;谢向辉;郭得科;陆菲菲;陶志荣;;一种高吞吐量、高可扩展数据中心网络结构[J];软件学报;2014年06期

中国重要会议论文全文数据库 前1条

1 李妍;陈洪辉;;信息服务中心模块化分布式互联结构研究[A];第三届中国指挥控制大会论文集（上册）[C];2015年

中国硕士学位论文全文数据库 前1条

1 凡颖;云环境下动态资源管理关键技术的研究[D];浙江理工大学;2014年

【相似文献】

中国期刊全文数据库 前10条

1 江南;数据中心如何应付管理挑战[J];互联网周刊;2001年40期

2 ;简化管理挑战——惠普推实用数据中心解决方案[J];每周电脑报;2001年67期

3 李庆莉;去数据中心看一看——中国银行华北信息中心计划处处长云恩善谈数据中心运行、管理[J];中国金融电脑;2002年12期

4 马天蔚;;数据中心按需造[J];每周电脑报;2002年25期

5 戚丽,蒋东兴,武海平,冯珂;校园数据中心建设与管理方法的探索[J];教育信息化;2002年S1期

6 何俊山;您企业的数据中心2003了吗?[J];微电脑世界;2003年17期

7 ;挖潜数据中心[J];金融电子化;2004年07期

8 王琨月;;数据中心业务就绪[J];每周电脑报;2004年21期

9 包东智;新热点:创建下一代数据中心[J];上海信息化;2005年10期

10 ;把握数据中心建设五大看点[J];中国计算机用户;2005年10期

中国重要会议论文全文数据库 前10条

1 姚，

本文编号：711583