数据中心服务器和网络的联合优化研究

发布时间：2017-10-22 08:02

  本文关键词：数据中心服务器和网络的联合优化研究

  更多相关文章： 数据中心网络 hadoop SDN fat-tree 联合优化

【摘要】：作为云计算的核心基础设施和下一代网络技术的创新平台,运行大规模分布式计算任务的数据中心在全世界范围内构建；其中以分布式文件系统(Hadoop Distributed File System, HDFS)和MapReduce (Google MapReduce的开源实现)为核心的开源分布式计算平台hadoop;凭借高可靠性、高扩展性、高效性、高容错性的优点在数据中心中得到广泛部署；对于数据中心网络,新型拓扑结构和各种带宽共享机制也使网络吞吐率得到很大改善。 然而,计算资源优化与网络传输优化没有直接的相关性；因为,不同的优化策略产生不同的流量矩阵；不同流量矩阵对于网络负载影响不同,进而影响计算性能的程度也不同。另外,hadoop发展时间相对比较短,对多工作(jobs)情况下的数据分配和处理还不够完善。 因此,基于计算端与网络端联合优化和SDN(Software Defined Network)思想,本文设计了可扩展性的VM任务放置与网络路由联合优化的方案。 在此方案中,首先分析和介绍了HDFS文件系统的工作原理和MapReduce的计算流程；并且搭建Hadoop平台测试MapReduce计算性能和HDFS文件系统的数据存储方式；然后,根据测试中统计的信息和相关的文献资料总结出现的问题；接下来介绍数据中心网络拓扑Fat-Tree,应用于Fat-tree中的等价多路径(ECMP)协议和SDN的思想；紧接着,给出具体任务分配方案和基于Fat-tree网络拓扑的联合方案,确定出各种不同工作的HDFS划分文件和map/reduce任务的合理分配位置；根据Fat-tree拓扑结构的特点,在ECMP协议基础上设计新的带宽分配算法。最后,实验验证联合优化方案,结果表明,我们的方案在保证计算优化的基础上能够提高网络吞吐率,并且改善了不同工作数据流的网络传输。
【关键词】：数据中心网络 hadoop SDN fat-tree 联合优化
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP308
【目录】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 绪论9-14
• 1.1 研究背景及意义9-11
• 1.2 问题分析11-12
• 1.3 研究内容12-13
• 1.4 论文组织结构13-14
• 第二章 背景知识和相关技术14-31
• 2.1 分布式计算平台Hadoop14-24
• 2.1.1 MapReduce计算模型14-16
• 2.1.2 MapReduce工作流程16-18
• 2.1.3 MapReduce并行处理18-19
• 2.1.4 MapReduce调度算法介绍19-21
• 2.1.5 HDFS体系结构21-24
• 2.2 网络拓扑结构Fat-tree24-26
• 2.2.1 树形结构的不足24-25
• 2.2.2 Fat-tree拓扑特点25-26
• 2.3 软件定义网络(SDN)26-28
• 2.4 数据中心带宽分配机制28-31
• 2.4.1 带宽保证的意义28
• 2.4.2 数据中心带宽共享机制28-29
• 2.4.3 带宽分配模型29-31
• 第三章 搭建Hadoop平台测试MapReduce模型和HDFS31-39
• 3.1 Hadoop的配置和安装31-34
• 3.1.1 配置SSH和JDK31-32
• 3.1.2 Hadoop配置安装32-34
• 3.2 MapReduce性能测试与分析34-38
• 3.2.1 测试用例程序的设计34-35
• 3.2.2 评估指标35
• 3.2.3 测试结果分析与总结35-37
• 3.2.4 性能瓶颈分析37-38
• 3.3 HDFS对性能的影响38-39
• 第四章 主要研究问题分析39-42
• 4.1 MapReduce并行计算问题分析39-40
• 4.2 网络流调度问题分析40-42
• 第五章 多作业多任务数据分配方案设计42-46
• 5.1 分布式计算应用的流模型分析42
• 5.2 多作业数据放置方案设计42-44
• 5.3 多作业MapReduce任务流带宽分配设计44-46
• 第六章 基于网络拓扑Fat-tree的联合优化46-57
• 6.1 等价多路径ECMP(Equal-cost multi-path)路由46
• 6.2 基于ECMP协议的带宽分配46-47
• 6.3 Fat-tree上基于ECMP协议的模型设计47-48
• 6.4 基于SDN思想的VM放置策略与网络的联合优化方案48-49
• 6.5 联合优化方案的模拟测试49-57
• 6.5.1 多作业数据放置方案测试49-52
• 6.5.2 基于ECMP协议的带宽分配的模拟52-54
• 6.5.3 联合优化模拟测试54-57
• 第七章 结束语57-59
• 7.1 工作总结57-58
• 7.2 系统展望58-59
• 参考文献59-61
• 致谢61-62
• 作者攻读学位期间发表的学术论文目录62

【参考文献】

中国期刊全文数据库 前1条

1 王凯;吴泉源;杨树强;;一种多用户MapReduce集群的作业调度算法的设计与实现[J];计算机与现代化;2010年10期

，

本文编号：1077430