面向高分辨率大气模拟的I/O优化方法研究

发布时间：2021-10-24 20:24

　　随着高性能计算的发展,计算能力得到大幅度的提升,然而受限于投资和复杂度,I/O性能则相对发展缓慢。基于此,I/O性能已经成为众多HPC应用程序的性能瓶颈,提升应用程序的I/O性能就显得格外重要。然而I/O系统具有高延迟、深共享、访问模式多变和成本问题,高端应用无一例外地受到I/O的困扰,其表现为很强的不确定性和振动性。同时,高性能应用程序的I/O行为大多是复杂的,分析和理解高性能计算机上应用程序的I/O行为是提升性能的关键。首先,本论文首先设计和实现了一个轻量级的I/O框架,支持灵活的I/O配置,自适应I/O调优,同时也支持同步和异步模式。该框架不同于ADIOS,它是一个轻量级的框架,主要解决计算和I/O的性能可扩展性不一致的问题,从而释放计算的可扩展性。也不同与PIO,该框架支持自动I/O调优以及灵活配置。我们在IBM P460系统上以GRAPES为例,证明了该框架的有效性。其次,为了进一步的分析应用程序的I/O行为,本文还实现了一个面向HPC应用程序的I/O trace采集和分析工具。该工具通过采集和高效存储前端计算节点上的I/O日志,统计各个计算节点上的读写行为数据,用IOPS（... 

【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：53 页

【学位级别】：硕士

【文章目录】：
中文摘要
ABSTRACT
1 绪论
    1.1 课题研究背景及意义
        1.1.1 研究背景
    1.2 国内外研究现状
        1.2.1 I/O性能模型的研究
        1.2.2 I/O行为分析的研究
    1.3 本文主要工作
    1.4 本文组织结构
2 相关背景
    2.1 高性能I/O发展
        2.1.1 并行文件系统
        2.1.2 MPI IO库
    2.2 大气模拟应用
    2.3 本章小结
3 一个针对结构化网格应用的轻量级和灵活的高性能I/O框架
    3.1 面临的挑战或问题
        3.1.1 应用面临的挑战
    3.2 SGIO的设计和实现
        3.2.1 SGIO的概述
        3.2.2 计算和I/O的解耦合
        3.2.3 灵活的I/O布局配置
        3.2.4 数据重分布
    3.3 自适应进程布局
        3.3.1 I/O模型
        3.3.2 计算模型
        3.3.3 通信模型
    3.4 GRAPES优化
        3.4.1 GRAPES I/O特点
        3.4.2 GRAPES在SGIO中的应用优化
    3.5 实验分析
        3.5.1 性能模型的准确性
        3.5.2 GRAPES的性能测试
    3.6 本章小结
4 神威太湖之光系统上面向HPC应用程序的I/O trace采集与分析工具
    4.1 神威太湖之光超级计算机
    4.2 I/O trace采集和分析工具的设计和实现
        4.2.1 设计方案的选择
        4.2.2 采集工具的整体架构
        4.2.3 采集工具的实现
        4.2.4 数据分析与可视化
    4.3 实验分析
        4.3.1 NPB-IO的BT IO特征分析
        4.3.2 采集分析工具对应用程序的影响
        4.3.3 采集分析工具的正确性验证
        4.3.4 真实应用程序的测试
    4.4 本章小结
5 总结与展望
    5.1 总结
    5.2 展望
参考文献
致谢
攻读学位期间发表的学术论文和参加科研情况
学位论文评阅及答辩情况表


【参考文献】：
期刊论文
[1]GRIB2介绍及解码初探[J]. 刘媛媛,应显勋,赵芳.  气象科技. 2006(S1)



本文编号：3455921