大规模Lustre集群文件系统关键技术的研究

发布时间：2021-06-08 12:19

　　集群已成为当今高性能计算机的主流体系结构。集群文件系统是缓解高性能计算集群I/O瓶颈问题的核心技术。随着高性能计算技术的不断发展,很多高性能计算应用的存储需求在不断提高。Lustre是领先的集群文件系统,已经成为构建高性能计算存储系统的标准,在高性能计算市场中占据统治地位。它可以有效地扩展到支持上万个节点的大规模HPC系统,具有被证实的聚合性能和扩展性。随着高性能计算不断的以增加节点来提升系统性能,未来高性能计算集群将变得异常庞大,技术上给Lustre带来了扩展性、I/O性能和可用性等诸多严峻挑战。本文所做的工作就是紧紧围绕这些问题展开的。具体研究内容和创新成果如下:（1）针对大规模应用的并行I/O访问特性,设计了一种新颖的跨网络的服务器端I/O请求调度器框架,并提出了一种基于对象的轮转（OBRR, Object Based Round Robin）调度算法来优化性能。它通过调度上层的并行I/O请求的执行,呈现给后端存储系统更容易优化的I/O工作负载。同时,为了避免饥饿以及满足不同紧急程度I/O请求响应时间的需求,提出了一种新颖的两级deadline设置策略:动态deadline和强制... 

【文章来源】：国防科技大学湖南省 211工程院校 985工程院校

【文章页数】：159 页

【学位级别】：博士

【部分图文】：

Lustre体系结构

图 2.2 Lustre 子系统交互图言，Lustre 是一个透明的文件系统，它无需知访问整个文件系统的数据。在 Lustre 文件系据的交互，包括文件 I/O 锁操作、文件数据的

Network Data object图 2.3 Lustre I/O 系统组件图ort 对来建立客户端服务器间的通讯通道ort，OSC 可以向 OST 发送请求或者接收通过对应的 export 接收处理来自客户

【参考文献】：
博士论文
[1]机群文件系统服务器关键技术研究[D]. 吴思宁.中国科学院研究生院（计算技术研究所） 2004
[2]分布式文件系统高可用问题研究[D]. 史小冬.中国科学院研究生院（计算技术研究所） 2002

硕士论文
[1]蓝鲸分布式文件系统数据一致性语义研究[D]. 范勇.中国科学院研究生院（计算技术研究所） 2006
[2]基于日志的机群文件系统高可用关键技术研究[D]. 李晖.中国科学院研究生院（计算技术研究所） 2005



本文编号：3218435