基于等价多路径的数据中心短流加速技术研究

发布时间：2017-04-24 16:01

  本文关键词：基于等价多路径的数据中心短流加速技术研究，，由笔耕文化传播整理发布。

【摘要】：近年来,随着云计算的发展,大量交互式应用,如零售推荐、网页搜索和社交网络等,部署于数据中心。这些应用对时延有极高的要求,时延的增加对用户体验和服务提供商的收益产生重大影响。在数据中心,这些交互式应用大多采用划分／聚集(Partition/Aggregate)的工作模式,聚集服务器把用户的请求分割成小任务,并通过短TCP连接(短流)交由计算节点完成,然后从这些节点收集结果并组合成最后的内容返回给用户。交互式的短流的完成时间大大影响了用户体验。然而,数据中心网络中存在一些为了完成数据备份、数据挖掘等任务的吞吐量巨大的TCP流,这些大流的发送窗口巨大,能够迅速改变交换机队列的大小。正是因为这些流的存在,数据中心网络中的排队时延波动巨大,导致短流的完成时间甚至超过理想值十倍以上。为了降低数据中心中的短流完成时间,学术界提出很多方案。这些方案中有的使用交换机的显式拥塞通知机制(ECN, Explicit Congestion Notification)通知主机端网络的拥塞程度,然后调整报文的发送速率,降低队列长度；有的通过模拟传统的集中式资源调度算法,为短流赋予更高的调度优先级；有的把流在多条等价路径之间进行负载均衡；还有的使用冗余技术针对一个任务使用两条流独立分别完成,取最快的流的结果。作为一种典型的基于冗余的短流加速技术,RepFlow对于原本由一条短流传输的数据,使用两条短流同时独立传输,当其中任一条短流的完成数据传输时,接收端即成功接收所有数据。由于数据中心中存在多条等价路径,当两条短流通过不同的路径到达接收端时,数据传输被链路拥塞阻碍的可能性大大降低,传输效率增加。现有的短流加速方案取得了不错的效果,但是大部分方案需要修改交换机或者主机TCP协议栈,这使得它们很难在数据中心中部署。尽管RepFlow能够实现于应用层,但是它存在两个不足：一是当今数据中心使用的等价多路径协议有可能把两条短流路由到同一条路径(路径哈希冲突),导致RepFlow的短流加速效果降低；二是RepFlow在所有的流量分布和网络负载下都为短流创建一条复制流,在网络负载较高和短流流量很大时,产生巨大的带宽开销。为了解决这些问题,我们尝试利用数据中心中存在的多条等价路径,提出容易部署的短流加速机制。总的来说,我们的工作可以分为下面两部分：·提出了一种基于冗余的新型数据中心短流加速机制SmartRep。在设计SmartRep的过程中,我们完成了三方面工作：-首先,我们深入研究了现有的基于冗余技术的短流加速方案的不足。针对哈希路径冲突对短流加速效果的负面影响,以及冗余流流量对冗余技术的带宽开销的影响,我们给出了详细的理论分析。-其次,我们设计了路径哈希冲突避免机制HCA。HCA根据数据中心中的等价多路径协议的原理,利用类似于traceroute的方法,提前发送具有指定TCP/IP五元组的报文探测该五元组对应的路径。利用这种方法探知指定五元组对应的路径之后,通过尝试不同的源端口号,为冗余流选择合适的源端口,使得它们通过不同的路径,避免路径冲突,降低短流完成时间。-最后,我们设计了冗余流数量分配机制RepNumAssigno RepNumAssign是一个能够感知数据中心网络负载和流量分布的冗余流数量分配算法,它根据网络的流量分布和当前负载,调整冗余流的总流量、限制带宽开销以避免产生负面影响,在总流量被限制下,给对流完成时间贡献大的短流分配更多的冗余流流量,以最小化流的完成时间。SmartRep的实现不需要交换机和主机端的修改,能够最大限度地简化部署。大量的NS2仿真实验表明,SmartRep能够在产生很低的带宽开销的前提下有效降低短流的平均和尾完成时间,并且能够和DCTCP协同工作。·为了进一步降低现有短流加速方案的带宽开销和部署难度,提出了基于路径时延探测的短流加速方案PDP。该方案首先设计了基于等价多路径协议的主机端路径控制机制,它采用HCA的思想,通过修改TCP流的源端口改变其路径。该机制的实现对TCP层完全透明,不需要修改主机端协议栈；然后,提出了主动路径时延探测机制,也就是在TCP的握手阶段在所有的等价路径上请求建立TCP连接,但是只在最先收到回复的路径上建立连接；最后,在流的生存期内,实施被动的路径时延探测,也就是随机重路由：一条流的报文不能在预设的时限内被确认,更换其路径。这些机制在所有流的前100Kb流量内实施,不需要应用程序提供流的大小信息。同时,PDP的实现也不需要修改交换机、主机协议栈,所以它更加容易部署。大量的NS2仿真实验表明,相比于现有的基于冗余技术的短流加速方案,PDP的短流加速效果接近甚至更好,并且带宽开销更低。
【关键词】：数据中心网络 流完成时间 复制技术 路径时延探测
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP308
【目录】：

• 摘要4-7
• Abstract7-14
• 第一章 绪论14-18
• 1.1 研究背景14-15
• 1.2 问题分析15-16
• 1.3 本文主要的工作16-17
• 1.4 本文的组织结构17-18
• 第二章 相关工作18-24
• 2.1 数据中心网络18-20
• 2.1.1 数据中心网络拓扑18-19
• 2.1.2 等价多路径协议19-20
• 2.1.3 路径控制20
• 2.2 数据中心流加速方案20-24
• 2.2.1 速率控制20-21
• 2.2.2 流调度21
• 2.2.3 负载均衡21-22
• 2.2.4 冗余技术22-23
• 2.2.5 综合方案23-24
• 第三章 基于冗余的数据中心短流加速机制24-49
• 3.1 背景24-25
• 3.2 动机25-29
• 3.2.1 流的路径冲突对时延造成的影响25-28
• 3.2.2 创建多条复制流的利与弊28-29
• 3.3 系统设计概览29-32
• 3.4 冗余流路径冲突避免机制HCA32-36
• 3.4.1 算法设计32-34
• 3.4.2 路径冲突避免机制的开销34-36
• 3.5 冗余流数量分配机制RepNumAssign36-41
• 3.5.1 冗余流对大流的影响36-37
• 3.5.2 复制流技术的适用范围37-38
• 3.5.3 冗余流数量分配算法38-40
• 3.5.4 冗余流数量分配机制的调用时机40-41
• 3.6 仿真实验41-49
• 3.6.1 实验设置41-42
• 3.6.2 实验结果42-49
• 第四章 基于路径时延探测的短流加速机制49-59
• 4.1 动机49-51
• 4.2 基于路径时延探测的短流加速机制51-55
• 4.2.1 机端路径控制51-52
• 4.2.2 路径时延探测52-53
• 4.2.3 短流加速原理53
• 4.2.4 实现细节与开销53-55
• 4.3 仿真实验55-59
• 4.3.1 实验设置55
• 4.3.2 实验结果55-59
• 第五章 总结与展望59-61
• 5.1 本文总结59-60
• 5.2 前景展望60-61
• 参考文献61-67
• 简历与科研成果67-68
• 致谢68-69

【相似文献】

中国期刊全文数据库 前10条

1 江南;数据中心如何应付管理挑战[J];互联网周刊;2001年40期

2 ;简化管理挑战——惠普推实用数据中心解决方案[J];每周电脑报;2001年67期

3 李庆莉;去数据中心看一看——中国银行华北信息中心计划处处长云恩善谈数据中心运行、管理[J];中国金融电脑;2002年12期

4 马天蔚;;数据中心按需造[J];每周电脑报;2002年25期

5 戚丽,蒋东兴,武海平,冯珂;校园数据中心建设与管理方法的探索[J];教育信息化;2002年S1期

6 何俊山;您企业的数据中心2003了吗?[J];微电脑世界;2003年17期

7 ;挖潜数据中心[J];金融电子化;2004年07期

8 王琨月;;数据中心业务就绪[J];每周电脑报;2004年21期

9 包东智;新热点:创建下一代数据中心[J];上海信息化;2005年10期

10 ;把握数据中心建设五大看点[J];中国计算机用户;2005年10期

中国重要会议论文全文数据库 前10条

1 姚

本文编号：324491