机群环境下并行I/O操作优化研究

发布时间：2022-02-18 10:53

　　随着高性能计算机系统的不断发展与应用,很多科学计算程序（如并行渲染、天文计算、分子动力学、高能物理、流体力学计算、地球数值模拟系统以及天气预报）对系统I/O性能的要求越来越高。然而尽管I/O系统的存取速度越来越快,其与处理器计算能力之间的差距却越来越大,与此同时随着降低高性能计算机的能耗成为高性能计算领域的研究热点,并行程序I/O操作的节能降耗正受到越来越多的关注。并行计算程序将计算任务划分给各个进程共同完成,各个进程通常以并行I/O的方式对共享的文件或者文件集合进行读写操作,以获得所需数据。进程对共享文件的操作可以分为非集合操作和集合操作两种。非集合操作适用于各个子进程相对独立的并行计算程序,这类程序的各个子进程各自读取数据并进行计算,彼此之间并不进行通信,典型的应用有并行渲染。而集合操作适用于各个进程需要紧密配合的并行程序,这类程序的各个子进程紧密配合以共同完成数据的读写操作,计算的过程中各个进程间也往往需要交换彼此的计算结果,典型的应用有流体力学计算等。相对较低的I/O性能使得处理器花费越来越多的时间来等待数据,从而造成计算能力和电能的浪费。由于以上原因,提高大规模并行程序I/O... 

【文章来源】：山东大学山东省211工程院校985工程院校教育部直属院校

【文章页数】：142 页

【学位级别】：博士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景
    1.2 研究现状以及存在的问题和挑战
    1.3 本文主要研究内容和创新点
    1.4 组织结构
第2章 相关工作
    2.1 机群环境下的并行I/O软件栈
    2.2 机群环境下的并行I/O操作
    2.3 机群环境下的分布式内存缓存
    2.4 集合I/O操作调优
    2.5 并行I/O操作能耗优化
        2.5.1 能耗测量框架
        2.5.2 执行时间以及能耗建模方法
        2.5.3 能耗优化
    2.6 Periscope性能测试调优框架
        2.6.1 框架结构
        2.6.2 调优流程
第3章 面向非集合并行I/O操作的自组织内存缓存
    3.1 自组织分布式内存缓存
        3.1.1 全局元数据缓存
        3.1.2 本地文件缓存
        3.1.3 工作线程以及数据读取线程
    3.2 文件访问重定向
        3.2.1 基于FUSE重定向文件访问
        3.2.2 基于可加载内核模块重定向文件访问
    3.3 性能分析
    3.4 实验
        3.4.1 机群文件系统性能测试
        3.4.2 分布式内存缓存性能测试
        3.4.3 应用分布式缓存优化并行渲染
    3.5 本章小结
第4章 模型指导下的MPI集合I/O操作调优
    4.1 集合I/O操作建模
    4.2 集合I/O操作调优
        4.2.1 I/O速度测试
        4.2.2 Shuffle速度测试
        4.2.3 调优策略
    4.3 实验
        4.3.1 基于模型调优
        4.3.2 基于遗传算法调优
    4.4 本章小结
第5章 MPI程序并行I/O操作能耗优化
    5.1 能耗测量优化框架
        5.1.1 静态能耗与动态能耗
        5.1.2 能耗优化框架
        5.1.3 单节点能耗测量
    5.2 性能以及能耗建模
        5.2.1 模型输入参数
        5.2.2 建模方法
    5.3 能耗优化算法
    5.4 实验
        5.4.1 模型输入参数测试
        5.4.2 训练模型
        5.4.3 能耗优化
    5.5 本章小结
第6章 基于Periscope的并行I/O操作优化
    6.1 集合I/O操作性能调优插件
    6.2 集合I/O操作能耗测量插件
    6.3 使用插件进行调优
    6.4 本章小结
第7章 总结与展望
    7.1 总结
    7.2 展望
参考文献
致谢
攻读学位期间发表的学术论文目录
攻读学位期间参与科研项目情况
攻读学位期间获奖情况
外文论文
学位论文评阅及答辩情况表


【参考文献】：
期刊论文
[1]异构计算系统中弹性节能调度策略研究[J]. 朱晓敏,贺川,王建江,江建清.  计算机学报. 2012(06)
[2]多目标优化问题的研究概述[J]. 肖晓伟,肖迪,林锦国,肖玉峰.  计算机应用研究. 2011(03)
[3]抢占阈值调度的功耗优化[J]. 贺小川,贾焰.  计算机学报. 2008(11)



本文编号：3630706