面向分布式计算的光互连节点设计与实现

发布时间：2020-03-22 20:20

【摘要】：移动互联网和人工智能的发展,5G时代下大规模新型应用的提出,使得数据中心(DC)的计算规模和网络流量急剧增长。分布式计算应用的发展使得数据中心内流量的通信模式也变得多种多样,分布式计算对网络的连接结构也提出了新的需求。传统的网络越来越无法支撑新的数据密集型的应用,分散光网络和资源分散网络作为新型光互连网络受到关注,而这些新型光互连网络要求现有网络结构和节点的功能变得开放,本文针对开放的互连网络以及资源分散网络所带来的新的挑战,设计并实现了面向分布式计算的分散网络光互连节点。分散化网络互连节点具有开放可控得系统功能,主要包括数据层面上的流信息统计,发送通道选择以及光分组汇聚等功能,控制层面上的节点内流信息和各功能模组状态上报,并根据上层控制系统的指令对节点内的参数结构配置更改以及节点互连的光交换矩阵连接进行配置。本文采用高速FPGA实现了上述节点的功能逻辑,并搭建互连网络实验平台对节点的功能进行验证。另外,基于该光互连节点,提出了利用流相关性的网络故障定位和恢复功能,讨论了基于流的相关性进行流分类的网络路径信息发现与提取,并通过SDN控制器实现了网络故障的定位与恢复,通过搭建实验平台,对该功能进行了不同类型故障场景下的实验与验证。最后,分析了资源分散化数据中心网络(DDC)的网络模型与资源结构,讨论了不同计算作业在不同的DDC模型结构下的内存通信量与网络通信量的关系,基于FPGA平台对资源分散网络节点中的流量进行了模拟,针对资源分散网络中的流量排队与调度问题,评估了优先级方式、带宽预留以及轮询三种常见的调度方式对资源分散网络流量负载传输性能的影响。
【图文】：

ＨＤＦＳ逡逑（Ｈａｄｏｏｐ邋Ｄｉｓｔｒｉｂｕｔｅｄ邋Ｆｉｌｅ邋Ｓｙｓｔｅｍ）逡逑图１－１邋Ｈａｄｏｏｐ分布式平台框架ｔ３】逡逑Ｈａｄｏｏｐ的处理功能来自ＭａｐＲｅｄｕｃｅ引擎。ＭａｐＲｅｄｕｃｅ的处理过程分为逡逑Ｍａｐ（映射）和Ｒｅｄｕｃｅ（化简）。主要包含三个运行阶段［４１每一个阶段可能会出现完逡逑全不同的流量模式。如图１－２所示，第一个是ｆｉｌｅｕｐｌｏａｄ阶段，将要处理的大型逡逑数据集存储到分布式文件系统上，该系统需要具有大粒度的一对多传输。之后进逡逑入ｉｎｐｕｔ阶段，其中所有映射器（Ｍａｐｐｅｒ）（即一种作业执行器，与Ｒｅｄｕｃｅｒ相同）逡逑处理它们各自的数据段。这个阶段是大规模、多个一对一的流程。最后一个是逡逑ｓｈｕｆｆｌｅ阶段，ｒｅｄｕｃｅｒｓ从ｍａｐｐｅｒｓ中提取中间结果，以便将它们归并到最终的计逡逑算结果中。它包含多对多小流，具有延迟敏感性，并且更喜欢细粒度转发。逡逑ｏｎｅ－ｔｏ－ｍａｍ－逦ｍｎｌｒｉｐＪｅ邋ｏｎｅ－ｔｏ－ｏｎｅ逦ｍａｎｙ－ｔｏ－ｍｏｎｙ逡逑，，＇\l逦？—－ｍ逦—逡逑－－—

Ｈａｄｏｏｐ的处理功能来自ＭａｐＲｅｄｕｃｅ引擎。ＭａｐＲｅｄｕｃｅ的处理过程分为逡逑Ｍａｐ（映射）和Ｒｅｄｕｃｅ（化简）。主要包含三个运行阶段［４１每一个阶段可能会出现完逡逑全不同的流量模式。如图１－２所示，，第一个是ｆｉｌｅｕｐｌｏａｄ阶段，将要处理的大型逡逑数据集存储到分布式文件系统上，该系统需要具有大粒度的一对多传输。之后进逡逑入ｉｎｐｕｔ阶段，其中所有映射器（Ｍａｐｐｅｒ）（即一种作业执行器，与Ｒｅｄｕｃｅｒ相同）逡逑处理它们各自的数据段。这个阶段是大规模、多个一对一的流程。最后一个是逡逑ｓｈｕｆｆｌｅ阶段，ｒｅｄｕｃｅｒｓ从ｍａｐｐｅｒｓ中提取中间结果，以便将它们归并到最终的计逡逑算结果中。它包含多对多小流，具有延迟敏感性，并且更喜欢细粒度转发。逡逑ｏｎｅ－ｔｏ－ｍａｍ－逦ｍｎｌｒｉｐＪｅ邋ｏｎｅ－ｔｏ－ｏｎｅ逦ｍａｎｙ－ｔｏ－ｍｏｎｙ逡逑，，＇\l逦？—－ｍ逦—逡逑－－—，逦＿逡逑Ｆｉｌｅ邋ｕｐｌｏａｄ逦Ｉｎｐｕｔ逦Ｓｈｕｆｆｌｅ逡逑（ｓｐｌｉｔ邋ｆｉｌｅ邋ｉｎｔｏ邋ｐｉｅｃｅｓ．逦（ｍｕｌｔｉｐｌｅ邋ｍａｐｐｅｒｓ邋ｔｏ逡逑ｔｈｅｎ邋ｓｅｎｄ邋ｔｏ邋ｍａｐｐｅｒ）逦ｍｕｌｔｉｐｌｅ邋ｒｅｄｕｃｅｒｓ）逡逑图１－２邋ＭａｐＲｅｄｕｃｅ不同阶段的流量模式逡逑Ｓｔｏｒｍ则是侧重于极低延迟的流数据处理框架
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.09;TP18

【相似文献】

相关期刊论文 前10条

1 梁梓豪;黄红斌;陈舜儿;刘伟平;;硅基光互连网络的研究[J];光通信技术;2016年10期

2 宋少鸿;马骧;王晓雪;曹凌霄;张涵;杨建义;;基于FPGA的基础光互连网络实验平台[J];光通信技术;2013年12期

3 齐星云;窦强;冯权友;陈永然;窦文华;;无缓冲光互连网络的延时性能分析及优化[J];计算机工程;2010年05期

4 齐星云;窦强;陈永然;温俊;窦文华;;一种无缓冲的光互连网络的吞吐率性能分析及优化[J];国防科技大学学报;2008年06期

5 田劲东,李海峰,井文才,周革,张以谟;一种用于机群系统的双环光互连网络性能分析[J];计算机研究与发展;2001年11期

6 翦杰;赖明澈;肖立权;;光互连网络中资源预留的多级光互连仲裁机制[J];国防科技大学学报;2016年05期

7 罗风光，曹明翠，李洪谱，李再光;光计算中一种等效全混洗交换光互连网络的实现方法[J];华中理工大学学报;1994年03期

8 骆新国，张江陵;光互连网络盘阵列系统[J];计算机工程与应用;1995年02期

9 张以谟;;光互连已趋于实用化[J];国际学术动态;1996年04期

10 贾大功;刘琨;井文才;张以谟;周革;;具有旋转连接功能的双层光互连网络设计[J];光子学报;2006年11期

相关会议论文 前4条

1 张弓;郑浩;李川;;高速互连网络系统板间光互连应用分析[A];第二十届计算机工程与工艺年会暨第六届微处理器技术论坛论文集[C];2016年

2 张以谟;井文才;唐峰;柳葆;;MEMS光开关应用于机群系统光互连网络[A];光电技术与系统文选——中国光学学会光电技术专业委员会成立二十周年暨第十一届全国光电技术与系统学术会议论文集[C];2005年

3 周育城;徐平;黄海漩;李孟珏;洪春权;;基于三维Omega光互连网络的2-DPS变换的设计研究[A];中国光学学会2011年学术大会摘要集[C];2011年

4 刘琨;井文才;刘铁根;张以谟;贾大功;唐锋;;一种可扩展的双层光互连网络设计与性能分析[A];光电技术与系统文选——中国光学学会光电技术专业委员会成立二十周年暨第十一届全国光电技术与系统学术会议论文集[C];2005年

相关博士学位论文 前4条

1 崔越;光接入与光互连中基于非线性效应的信号处理关键技术研究[D];北京邮电大学;2018年

2 余志华;基于光波导的芯片间光互连网络的设计与实现[D];华中科技大学;2010年

3 冯勇华;大规模并行处理系统光互连网络研究[D];华中科技大学;2008年

4 李显勇;几类光互连网络的诊断性与容错性[D];重庆大学;2014年

相关硕士学位论文 前10条

1 杨深圳;面向分布式计算的光互连节点设计与实现[D];北京邮电大学;2019年

2 姜涛;E级高性能计算系统光互连网络架构研究[D];西安电子科技大学;2018年

3 齐世雄;面向多应用的高性能光互连访存架构研究[D];西安电子科技大学;2018年

4 宋少鸿;基于FPGA的光互连网络实验平台设计[D];浙江大学;2014年

5 叶进;片上光互连网络拓扑结构和路由算法研究[D];国防科学技术大学;2013年

6 任珊珊;片上光互连网络性能分析工具的设计与实现[D];国防科学技术大学;2012年

7 李翠婷;硅基微环谐振光路由器件及三维光互连网络的设计与模拟[D];吉林大学;2017年

8 孙志祥;基于PCI总线的高速光互连网络接口技术研究[D];天津大学;2005年

9 马磊;面向高性能计算的光互连技术研究[D];国防科学技术大学;2007年

10 张华良;自由空间光互连网络的光学实现及其集成化研究[D];国防科学技术大学;2011年

本文编号：2595571