面向大规模计算系统的I/O行为分析工具

发布时间：2023-12-28 18:54

　　高性能计算的飞速发展使得超级计算机的计算能力得到了大幅度的提升,然而,与之对应的是超级计算机的I/O性能发展相对缓慢。同时,超级计算机中的I/O子系统对于应用来说访问路径长、高度竞争,导致其总体资源利用率难以提升,应用体验不好。对于目前的许多科学计算应用来说,I/O性能而不是计算能力成为了性能瓶颈。因此,在超级计算机这样复杂的架构上分析大规模应用的I/O行为,同时及时对系统进行I/O性能异常检测,成为了优化大规模应用I/O性能,提升系统资源利用率的关键。首先,针对神威太湖之光的I/O子系统,本文设计和实现了一套面向大规模计算系统I/O行为分析工具,它主要包括三个部分:面向应用的I/O模式分析工具,面向应用的前后端I/O性能数据分离工具,以及自动化的I/O性能异常检测工具。通过面向应用的I/O模式分析工具能够了解应用的I/O模式和性能并触发相应的优化;通过面向应用的前后端性能数据分离工具查看数据在太湖之光存储架构上不同部分的性能,评估系统竞争情况和利用率;借助自动化的性能异常检测工具能够实时检测系统的性能异常,更好地管理系统资源。其次,本文展示和分析了神威太湖之光上的I/O性能数据。具体...

【文章页数】：67 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 背景介绍及意义
    1.2 国内外研究现状
    1.3 本文主要工作
    1.4 本文的组织结构
第2章 相关背景
    2.1 太湖之光存储架构
    2.2 BEACON:太湖之光上的端到端的数据采集系统
    2.3 本章小结
第3章 大规模应用I/O行为分析工具设计与实现
    3.1 大规模应用I/O行为分析工具的设计与实现
        3.1.1 大规模应用I/O行为分析工具面临的挑战
        3.1.2 大规模应用I/O行为分析工具的设计目标
        3.1.3 大规模应用I/O行为分析工具的整体架构
    3.2 面向应用的I/O模式分析工具的设计与实现
        3.2.1 大规模应用I/O行为分析工具的数据选择
        3.2.2 大规模应用I/O行为分析工具的整体流程
        3.2.3 大规模应用I/O行为分析工具的详细实现
    3.3 面向应用的前后端性能分离工具的设计与实现
        3.3.1 面向应用的前后端性能分离工具的整体流程
        3.3.2 面向应用的前后端性能分离工具的详细实现
    3.4 自动化的I/O性能异常检测工具的设计与实现
        3.4.1 自动化的I/O性能异常检测工具的模型的建立
        3.4.2 自动化的I/O性能异常检测工具的模型的流程设计
        3.4.3 自动化的I/O性能异常检测工具的模型的具体实现
    3.5 本章总结
第4章 神威太湖之光超级计算机的I/O行为分析
    4.1 系统负载及使用率分析
        4.1.1 代理节点使用率分析
        4.1.2 系统不同层访问数据量分析
    4.2 大规模应用I/O行为分析
        4.2.1 大规模应用访问数据量大小分析
        4.2.2 大规模应用I/O模式分析
    4.3 性能异常检测及根因诊断结果
    4.4 本章总结
第5章 总结与展望
    5.1 总结
    5.2 展望
参考文献
致谢
攻读学位期间发表的学术论文和参加项目科研情况
学位论文评阅及答辩情况表



本文编号：3875991