数据中心网络高效数据汇聚传输算法

发布时间：2017-10-21 10:20

  本文关键词：数据中心网络高效数据汇聚传输算法

  更多相关文章： 数据中心 数据汇聚 网内聚合 混洗传输 incast树

【摘要】：在数据中心中,类MapReduce的分布式计算系统在数据的混洗阶段产生巨大流量,令数据中心的东西向网络资源成为瓶颈.将这些高度相关的数据流在接收端进行聚合是分布式计算的通用处理方式,为了降低网络通信量并有效利用带宽,文中采用网内关联性流量的汇聚传输策略,将混洗和汇聚并行化,达到进一步降低东西向网络资源消耗、缩短混洗阶段延迟的目的.目前提出的IRS-based算法在适用场景上有一定局限性,为了解决这一问题,文中首先在以服务器为中心的代表结构BCube上建立incast最小树模型,分别提出MIB-based算法和MC-based算法,仅根据已知拓扑结构和发送节点编号即可快速生成一棵近似的最小代价incast树.MIB-based算法针对发送节点强关联的情况,使高层发送节点尽可能汇聚到已有的低层发送节点构建incast树;MC-based算法针对发送节点松散关联的情况,将节点进行最大程度上的聚合,通过增加最少的汇聚点完成incast树的构建.随后将上述两种算法结合起来进一步提出适用于各种场景的M2-based算法,通过推算时间复杂度证明该算法能够满足在线构建incast树的需求.最后,详细分析了M2-based算法对其他数据中心网络结构的适应性以及网内汇聚传输能够减少作业完成时间的原理.小规模实验结果表明,在不同网络规模下,M2-based比IRS-based节省了网络中约3%的数据量,整个作业在混洗和Reduce阶段的等待时间比不采用网内汇聚缩短约2/3;在不同传输节点规模下,M2-based比IRS-based节省了网络中约19%的数据量,整个作业在混洗和Reduce阶段的等待时间比不采用网内汇聚缩短约3/4.
【作者单位】： 数学工程与先进计算国家重点实验室;解放军信息工程大学国家数字交换系统工程技术研究中心;信息系统工程国防科技重点实验室(国防科学技术大学);
【关键词】： 数据中心 数据汇聚 网内聚合 混洗传输 incast树
【基金】：国家“九七三”重点基础研究发展规划项目青年科学家专题项目(2014CB347800) 国家自然科学基金优秀青年基金(61422214);国家自然科学基金(91430214) 国家“八六三”高技术研究发展计划项目基金(2013AA01A213)资助~~
【分类号】：TP308
【正文快照】： 1引言 随着分布式数据处理技术和云计算的不断发展,大规模数据中心成为分布式计算系统(如MapReduce[1]、Dryad[2]、CIEL[3]、Pregel[4]和Spark[5])处理和存储大数据的平台.在数据中心上运行的应用利用分布式计算框架将数据分发到成百上千台服务器上并行执行,从而达到在短时间

【相似文献】

中国期刊全文数据库 前10条

1 江南;数据中心如何应付管理挑战[J];互联网周刊;2001年40期

2 ;简化管理挑战——惠普推实用数据中心解决方案[J];每周电脑报;2001年67期

3 李庆莉;去数据中心看一看——中国银行华北信息中心计划处处长云恩善谈数据中心运行、管理[J];中国金融电脑;2002年12期

4 马天蔚;;数据中心按需造[J];每周电脑报;2002年25期

5 戚丽,蒋东兴,武海平,冯珂;校园数据中心建设与管理方法的探索[J];教育信息化;2002年S1期

6 何俊山;您企业的数据中心2003了吗?[J];微电脑世界;2003年17期

7 ;挖潜数据中心[J];金融电子化;2004年07期

8 王琨月;;数据中心业务就绪[J];每周电脑报;2004年21期

9 包东智;新热点:创建下一代数据中心[J];上海信息化;2005年10期

10 ;把握数据中心建设五大看点[J];中国计算机用户;2005年10期

中国重要会议论文全文数据库 前10条

1 姚，

本文编号：1072799