集群系统中的网络性能优化方法研究

发布时间：2021-09-12 18:52

　　在高性能的计算机集群系统中,采用高速网络设备对集群中的各个节点进行互连已成为当前集群技术发展的主流。网络组件是集群系统体系结构的重要组成部分,直接影响了集群系统的各项性能指标。另一方面,集群网络具有许多明显不同于一般网络的优势特征,例如高带宽、低延迟、高可靠性等等,如果系统中的网络组件不能充分利用这些优点,就容易成为系统的瓶颈。因此,针对高性能集群网络的特点,对网络进行优化设计非常必要。RPC是一项广泛用于集群与分布式系统的网络组件与通信技术。然而,当传统的RPC技术用在基于高速网络的集群环境中时其性能表现很一般,其主要原因就在于传统的RPC技术并没有充分利用到集群网络中所特有的优点。仔细研究了传统的RPC技术,研究表明传统RPC在集群网络中性能表现差的主要原因之一是由RPC技术中的序列化/反序列化操作引起的。因此提出了一种同构集群下专用的序列化/反序列化方法——SimpSerial,它能够减少传统的序列化/反序列化方法中的数据拷贝次数,以此来大幅度地提升集群网络的性能。将SimpSerial在真实的集群环境中加以实现,并进行了测试。测试表明此方法能显著提升集群网络的性能,当测试中所传... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：116 页

【学位级别】：博士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 集群
    1.2 集群系统中的网络组件
    1.3 集群系统中网络技术的研究现状
    1.4 本文的研究工作
    1.5 论文的组织结构
2 一种同构集群中的专用RPC序列化方法
    2.1 传统RPC中的数据处理过程
    2.2 序列化操作过程的解析
    2.3 同构集群中一种专用的序列化方法—SimpSerial
    2.4 测试及分析
    2.5 本章小结
3 集群系统中分区间的RPC超时机制
    3.1 RPC系统超时机制的研究现状
    3.2 对超时现象的具体分析
    3.3 基于排队论的RPC超时值分析
    3.4 一种分区间的RPC自适应超时机制
    3.5 测试与分析
    3.6 本章小结
4 Cappella集群系统网络中间层设计
    4.1 集群系统中TCP与RDMA协议的性能研究
    4.2 Cappella集群系统总体介绍
    4.3 Cappella系统的网络层次
    4.4 网络中间层的具体设计实现
    4.5 性能评测
    4.6 集群系统中提升网络性能的方法总结
    4.7 本章小结
5 总结与展望
    5.1 本文的具体研究工作与贡献
    5.2 进一步的研究工作
致谢
参考文献
附录1 攻读学位期间发表的学术论文
附录2 攻读学位期间申请的技术专利
附录3 攻读学位期间参与的主要科研项目


【参考文献】：
期刊论文
[1]大数据分析——RDBMS与MapReduce的竞争与共生[J]. 覃雄派,王会举,杜小勇,王珊.  软件学报. 2012(01)
[2]大规模集群中一种自适应可扩展的RPC超时机制[J]. 钱迎进,肖侬,金士尧.  软件学报. 2010(12)
[3]云计算:系统实例与研究现状[J]. 陈康,郑纬民.  软件学报. 2009(05)
[4]基于Infiniband技术构建高性能分布式文件系统-Lustre[J]. 董勇,周恩强,陈娟.  计算机工程与应用. 2005(22)
[5]TCP加速技术研究综述[J]. 王圣,苏金树.  软件学报. 2004(11)
[6]IPoIB体系结构及其应用[J]. 刘爱华,钱德沛,董小社,乔楠.  计算机科学. 2003(09)
[7]Linux下RPC的分析及改进[J]. 刘心松,邱元杰,杨锋.  小型微型计算机系统. 2001(07)
[8]LINUX ONC RPC机构分析[J]. 陆建德.  小型微型计算机系统. 2000(03)

博士论文
[1]文件系统语义分析技术研究[D]. 夏鹏.华中科技大学 2011
[2]基于对象的并行文件系统接口语义扩展研究[D]. 涂旭东.华中科技大学 2011
[3]大规模Lustre集群文件系统关键技术的研究[D]. 钱迎进.国防科学技术大学 2011



本文编号：3394762