E级计算的存储系统突发数据缓存的I/O性能优化
发布时间：2021-01-27 17:33
超级计算机用于自然科学的很多关键领域中进行复杂系统的大规模计算和模拟。随着芯片技术的高速发展,到2020年超级计算机的性能将会达到EFlop/s（每秒百亿亿次浮点运算）。爆发性增长的计算能力同时也导致了科学计算模拟输出的数据规模激增,从而引发了对大型存储系统的高性能I/O需求。例如,在美国超算中心的系统上使用12万个核模拟计算3万亿个粒子的磁重联物理过程,每小时就会产生约100TB的数据。存储和检索如此大规模的突发性产生的数据会极大地影响这些科学应用的整体性能。当前集中式存储的I/O系统也难以提供足够的性能去充分满足极端规模的科学计算平台要求。为此,近年来学术界提出了突发数据缓存（Burst Buffer）结构:它在计算和存储节点之间添加了新型硬件如非易失性存储器作为缓冲层,支持对于大量突发性的I/O请求进行快速处理。但是针对突发数据缓存的设计仍面临许多问题,需要高效的系统软件与该新的存储架构相结合,来满足支持百亿亿次计算的科学应用所要求的极端并行性和性能需求。本文的工作旨在研究数据密集型科学应用在突发数据缓存系统中的I/O性能优化方法。通过分析应用的数据访问特征和存储需求动态调度分配...
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：122 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究背景
1.1.1 数据驱动的高性能科学计算
1.1.2 E级计算系统的发展趋势
1.1.3 大规模存储系统的发展趋势
1.2 E级计算存储系统设计面临的挑战性问题
1.3 本文主要研究内容
1.4 论文组织结构
第2章 相关研究工作
2.1 高性能存储系统结构
2.1.1 近数据端计算架构
2.1.2 突发数据缓存架构
2.1.3 相关工作总结
2.2 数据存储格式与I/O编程接口
2.2.1 MPI-IO
2.2.2 HDF5
2.2.3 NetCDF
2.2.4 相关工作总结
2.3 I/O执行模式
2.3.1 解耦合执行模式
2.3.2 异步执行模式
2.3.3 相关工作总结
第3章 竞争感知的共享式突发数据缓存分配算法
3.1 引言
3.2 相关背景介绍
3.2.1 共享式突发数据缓存系统
3.2.2 面向存储资源的调度分配
3.2.3 动机
3.3 基于竞争感知的存储资源调度方案
3.3.1 运行时框架设计与实现
3.3.2 竞争感知的节点分配算法
3.3.3 性能模型分析
3.4 实验评估
3.4.1 仿真实验
3.4.2 模拟实验
3.5 本章小结
第4章 分布式突发数据缓存的异步数据传输优化策略
4.1 引言
4.2 相关背景介绍
4.2.1 分布式突发数据缓存系统
4.2.2 动机
4.3 自适应可扩展的异步数据传输优化策略
4.3.1 运行时框架设计与实现
4.3.2 自适应的异步数据传输策略
4.3.3 动态数据回传优化方法
4.3.4 性能模型分析
4.4 实验评估
4.4.1 测试平台与测试程序
4.4.2 实验结果与分析
4.5 本章小结
第5章 结构感知的异构突发数据缓存的动态I/O调度方案
5.1 引言
5.2 相关背景介绍
5.2.1 异构突发数据缓存系统
5.2.2 动机
5.3 结构感知的动态I/O调度方案
5.3.1 运行时框架设计与实现
5.3.2 本地缓存的流量感知调度方法
5.3.3 跨存储层的I/O重定向策略
5.3.4 基于干扰感知的I/O调度算法
5.4 实验评估
5.4.1 测试平台与测试程序
5.4.2 实验结果与分析
5.5 本章小结
第6章 结果与展望
6.1 研究工作与结果
6.2 主要创新
6.3 下一步研究工作
参考文献
致谢
在读期间发表的学术论文与取得的研究成果
在读期间参与的科研项目
本文编号：3003452
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：122 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究背景
1.1.1 数据驱动的高性能科学计算
1.1.2 E级计算系统的发展趋势
1.1.3 大规模存储系统的发展趋势
1.2 E级计算存储系统设计面临的挑战性问题
1.3 本文主要研究内容
1.4 论文组织结构
第2章 相关研究工作
2.1 高性能存储系统结构
2.1.1 近数据端计算架构
2.1.2 突发数据缓存架构
2.1.3 相关工作总结
2.2 数据存储格式与I/O编程接口
2.2.1 MPI-IO
2.2.2 HDF5
2.2.3 NetCDF
2.2.4 相关工作总结
2.3 I/O执行模式
2.3.1 解耦合执行模式
2.3.2 异步执行模式
2.3.3 相关工作总结
第3章 竞争感知的共享式突发数据缓存分配算法
3.1 引言
3.2 相关背景介绍
3.2.1 共享式突发数据缓存系统
3.2.2 面向存储资源的调度分配
3.2.3 动机
3.3 基于竞争感知的存储资源调度方案
3.3.1 运行时框架设计与实现
3.3.2 竞争感知的节点分配算法
3.3.3 性能模型分析
3.4 实验评估
3.4.1 仿真实验
3.4.2 模拟实验
3.5 本章小结
第4章 分布式突发数据缓存的异步数据传输优化策略
4.1 引言
4.2 相关背景介绍
4.2.1 分布式突发数据缓存系统
4.2.2 动机
4.3 自适应可扩展的异步数据传输优化策略
4.3.1 运行时框架设计与实现
4.3.2 自适应的异步数据传输策略
4.3.3 动态数据回传优化方法
4.3.4 性能模型分析
4.4 实验评估
4.4.1 测试平台与测试程序
4.4.2 实验结果与分析
4.5 本章小结
第5章 结构感知的异构突发数据缓存的动态I/O调度方案
5.1 引言
5.2 相关背景介绍
5.2.1 异构突发数据缓存系统
5.2.2 动机
5.3 结构感知的动态I/O调度方案
5.3.1 运行时框架设计与实现
5.3.2 本地缓存的流量感知调度方法
5.3.3 跨存储层的I/O重定向策略
5.3.4 基于干扰感知的I/O调度算法
5.4 实验评估
5.4.1 测试平台与测试程序
5.4.2 实验结果与分析
5.5 本章小结
第6章 结果与展望
6.1 研究工作与结果
6.2 主要创新
6.3 下一步研究工作
参考文献
致谢
在读期间发表的学术论文与取得的研究成果
在读期间参与的科研项目
本文编号：3003452
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3003452.html
