Hadoop数据中心网络TCP Incast问题的研究

发布时间：2017-10-08 17:33

  本文关键词：Hadoop数据中心网络TCP Incast问题的研究

  更多相关文章： Hadoop集群 数据中心网络 网络吞吐量 TCP Incast 重传超时 BPGS

【摘要】：信息化年代,网络资源日益庞大,用户请求信息数据量伴随着互联网的发展而不断增加。由于集群存储系统有诸多优势,所以集群存储系统已被广泛应用于数据中心中。集群存储系统中,数据块以条状方式分散存储在多个不同的服务器中,当并发访问的用户过多、响应服务器数量不断增大、多个发送方同步将数据并发传输给一个接收方,当这些并发传输的数据量足够超过以太网交换机缓冲区大小时,就会在高带宽低延迟的环境中发生Incast问题。对Hadoop集群的构造、运行机制以及存在于Hadoop集群中的网络塌陷行为进行了深入研究探讨。结合Hadoop集群运行环境和在集群中发生的Incast问题,对Hadoop集群中发生的Incast问题提出两种解决方案。第一种是提出优化TCP超时来改善Incast现象,通过修改m i nR T O的值来提高网络传输质量,提高带宽利用率。第二种解决方案是通过将数据交错分组传输来避免发生Incast现象。将原先并发传输的数据交错开来实现数据类串行传输,避免发生TCP Incast现象。使用网络仿真工具NS2对这两种方案进行模拟仿真。仿真实验结果表明,通过修改m i nR T O的值可以提高网络传输质量和高带宽利用率;通过将数据交错分组传输可以避免发生Incast现象。论文中提出的两种解决方案都能改善网络传输质量,有效降低在Hadoop集群环境中TCP Incast发生率,避免网络吞吐量出现大幅降低现象。
【关键词】：Hadoop集群 数据中心网络 网络吞吐量 TCP Incast 重传超时 BPGS
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP308
【目录】：

• 摘要4-5
• Abstract5-8
• 第一章 绪论8-16
• 1.1 研究背景8-9
• 1.2 数据中心网络概述9-11
• 1.2.1 数据中心网络介绍9-10
• 1.2.2 数据中心网络架构10-11
• 1.3 TCP概述11-12
• 1.4 国内外研究现状12-14
• 1.5 主要研究内容和论文组织结构14-16
• 第二章 HADOOP集群与网络16-27
• 2.1 HADOOP集群构造16-18
• 2.2 HADOOP集群运行机制18-23
• 2.2.1 Hadoop集群运行过程18-22
• 2.2.2 机架感知22-23
• 2.3 HADOOP集群中网络塌陷现象23-26
• 2.3.1 数据读写过程中的Incast现象23-25
• 2.3.2 MapReduce调度过程中的Incast现象25-26
• 2.4 本章小结26-27
• 第三章 TCP INCAST研究及模拟27-39
• 3.1 TCP INCAST研究27-29
• 3.1.1 TCP Incast27
• 3.1.2 引起TCP Incast原因27-29
• 3.2 TCP INCAST模拟29-31
• 3.2.1 模拟环境29-31
• 3.2.2 重传超时31
• 3.3 已有的解决方案仿真实验与结果分析31-37
• 3.3.1 传输层解决方案32-34
• 3.3.2 应用层解决方案34-36
• 3.3.3 其它解决方案36-37
• 3.4 本章小结37-39
• 第四章 HADOOP集群中基于重传超时优化算法39-52
• 4.1 相关工作39-43
• 4.1.1 数据中心网络的超时重传40-41
• 4.1.2 高精确度内核时钟41-42
• 4.1.3 细粒度超时计时器42
• 4.1.4 定时器的维护42-43
• 4.2 典型TCP重传超时算法43-45
• 4.2.1 Jacobson算法43-44
• 4.2.2 Karn算法44
• 4.2.3 RFC2988算法44-45
• 4.3 基于重传超时优化算法45-48
• 4.4 仿真实验与结果分析48-50
• 4.5 本章小结50-52
• 第五章 基于紧迫度分组调度算法52-64
• 5.1 经典拥塞控制算法TCP NEWRENO和CUBIC研究52-56
• 5.1.1 经典拥塞控制算法TCP NewReno研究52-54
• 5.1.2 新型高速TCP变种协议CUBIC研究54-56
• 5.2 避免INCAST问题的应用层方法交错流算法研究56-59
• 5.3 基于紧迫度分组调度算法59-60
• 5.4 仿真实验与结果分析60-63
• 5.5 本章小结63-64
• 第六章 总结与展望64-66
• 6.1 总结64-65
• 6.2 展望65-66
• 参考文献66-69
• 附录1攻读硕士学位期间撰写的论文69-70
• 附录2攻读硕士学位期间参加的科研项目70-71
• 致谢71

【相似文献】

中国期刊全文数据库 前10条

1 江南;数据中心如何应付管理挑战[J];互联网周刊;2001年40期

2 ;简化管理挑战——惠普推实用数据中心解决方案[J];每周电脑报;2001年67期

3 李庆莉;去数据中心看一看——中国银行华北信息中心计划处处长云恩善谈数据中心运行、管理[J];中国金融电脑;2002年12期

4 马天蔚;;数据中心按需造[J];每周电脑报;2002年25期

5 戚丽,蒋东兴,武海平,冯珂;校园数据中心建设与管理方法的探索[J];教育信息化;2002年S1期

6 何俊山;您企业的数据中心2003了吗?[J];微电脑世界;2003年17期

7 ;挖潜数据中心[J];金融电子化;2004年07期

8 王琨月;;数据中心业务就绪[J];每周电脑报;2004年21期

9 包东智;新热点:创建下一代数据中心[J];上海信息化;2005年10期

10 ;把握数据中心建设五大看点[J];中国计算机用户;2005年10期

中国重要会议论文全文数据库 前10条

1 姚，

本文编号：995395