面向高性能计算的可扩展I/O体系结构研究与实现
发布时间：2023-06-17 22:57
数值模拟计算是进行科学研究和探索的主要技术手段之一,其对计算机的计算和数据处理能力提出了巨大的、不断增长的需求,推动着并行计算机系统的发展。高性能计算已进入PetaFlops时代,与此同时,数据存储也进入Petabyte(千万亿字节)时代,对I/O性能、可扩展性、可靠性、可用性和易管理性提出了严峻挑战。大规模并行计算机系统的I/O效能已经成为阻碍系统获得高效能的重要瓶颈。这主要表现在两个方面,一是I/O设备速度、I/O体系结构等因素的制约,使系统I/O性能和计算性能严重不匹配;二是系统规模的扩展导致I/O设备高故障率和数据恢复时间的增长,使I/O系统的可用性问题日益突出。 为了缓解I/O瓶颈问题,可以从应用程序、可扩展算法、编译器和语言、运行时库、操作系统和体系结构六方面展开研究。其中,I/O体系结构是所有技术途径的关键支撑。针对高性能计算I/O需求与挑战,结合高效能并行计算机系统的研制任务,论文首先研究了I/O体系结构,从体系结构上保证并行I/O的性能及可扩展性。其次,在实现机制上,研究了涵盖I/O的存储一致性模型及实现技术、智能I/O控制、电磁混合存储加速和事务型存储管理等技术,达...
【文章页数】：144 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 高性能计算I/O需求与挑战
1.1.1 高性能科学计算I/O需求
1.1.2 I/O 瓶颈问题
1.1.3 可用性问题
1.2 研究方向与发展趋势
1.2.1 I/O与存储体系结构设计一体化
1.2.2 I/O优化技术融合化
1.2.3 存储设备智能化
1.2.4 存储管理事务化
1.2.5 存储介质多元化
1.2.6 存储系统节能化
1.3 研究内容与相关工作
1.3.1 面向 I/O 的存储一致性模型及协议实现技术
1.3.2 智能I/O控制技术
1.3.3 事务型存储管理技术
1.3.4 电磁混合存储加速技术
1.4 论文的主要研究工作与创新
1.5 论文结构
第二章 I/O 受限的并行加速比模型与可扩展并行 I/O 体系结构
2.1 I/O受限的并行加速比模型
2.2 I/O体系结构与系统可扩展性分析
2.2.1 集中式I/O体系结构
2.2.2 分布式并行I/O 体系结构
2.2.3 集中分布式并行I/O体系结构
2.3 面向高性能计算的可扩展并行I/O 系统结构
2.4 小结
第三章 涵盖I/O 的广义存储一致性模型及其实现技术
3.1 涵盖I/O的广义存储一致性模型
3.1.1 涵盖I/O的存储一致性视图
3.1.2 涵盖I/O的共享存储系统抽象模型
3.1.3 广义程序运行模型
3.1.4 广义顺序一致性模型
3.1.5 广义释放一致性模型
3.1.6 广义域一致性模型
3.2 基于LGScC模型的CC-NUMA系统全局DMA实现技术
3.2.1 支持GPDMA的CC-NUMA 一致性协议设计与实现
3.2.2 基于GPDMA的全局共享并行I/O 系统性能分析
3.3 性能评测与分析
3.3.1 并行I/O带宽测试
3.3.2 I/O 服务时间测试
3.3.3 与国际巨型机I/O系统比较
3.4 小结
第四章 基于强化学习的智能I/O 控制技术
4.1 强化学习
4.1.1 马尔可夫决策过程
4.1.2 目标函数
4.1.3 Q-学习算法
4.2 基于强化学习的I/O调度算法
4.2.1 问题提出
4.2.2 算法思想
4.2.3 环境状态的确定
4.2.4 多Q-表交叉组织方法
4.2.5 瞬时奖赏值函数
4.2.6 Q-值的更新方法
4.2.7 RL-scheduler算法
4.3 RAID控制器关键实现技术
4.3.1 总体结构
4.3.2 RAID智能控制模型
4.3.3 RAID存储管理算法
4.3.4 磁盘任务调度算法
4.4 实验评测与分析
4.4.1 RAID性能测试
4.4.2 RL-Scheduler算法评测
4.5 小结
第五章 支持事务语义的电磁混合存储技术
5.1 面向存储设备的事务语义基本框架
5.1.1 事务原语
5.1.2 版本管理
5.1.3 冲突处理
5.2 支持事务语义的电磁混合存储架构
5.2.1 电磁混合存储系统架构
5.2.2 支持事务语义的电磁混合存储策略
5.3 基于令牌的并行事务冲突处理技术
5.3.1 事务令牌
5.3.2 令牌元数据维护
5.3.3 冲突仲裁
5.4 自适应动态逻辑分区管理算法
5.4.1 算法思想
5.4.2 访问模式检测
5.4.3 基于边际效益的空间分配算法
5.4.4 结合版本管理的区内替换算法
5.5 实验评测与分析
5.5.1 模拟测试环境
5.5.2 自适应动态逻辑分区管理算法评估
5.5.3 基于混合存储的事务冲突处理机制性能评估
5.6 小结
第六章 总结与展望
致谢
参考文献
攻读博士学位期间发表的论文
攻读博士学位期间的科技成果
攻读博士学位期间参与的科研项目
本文编号：3834305
【文章页数】：144 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 高性能计算I/O需求与挑战
1.1.1 高性能科学计算I/O需求
1.1.2 I/O 瓶颈问题
1.1.3 可用性问题
1.2 研究方向与发展趋势
1.2.1 I/O与存储体系结构设计一体化
1.2.2 I/O优化技术融合化
1.2.3 存储设备智能化
1.2.4 存储管理事务化
1.2.5 存储介质多元化
1.2.6 存储系统节能化
1.3 研究内容与相关工作
1.3.1 面向 I/O 的存储一致性模型及协议实现技术
1.3.2 智能I/O控制技术
1.3.3 事务型存储管理技术
1.3.4 电磁混合存储加速技术
1.4 论文的主要研究工作与创新
1.5 论文结构
第二章 I/O 受限的并行加速比模型与可扩展并行 I/O 体系结构
2.1 I/O受限的并行加速比模型
2.2 I/O体系结构与系统可扩展性分析
2.2.1 集中式I/O体系结构
2.2.2 分布式并行I/O 体系结构
2.2.3 集中分布式并行I/O体系结构
2.3 面向高性能计算的可扩展并行I/O 系统结构
2.4 小结
第三章 涵盖I/O 的广义存储一致性模型及其实现技术
3.1 涵盖I/O的广义存储一致性模型
3.1.1 涵盖I/O的存储一致性视图
3.1.2 涵盖I/O的共享存储系统抽象模型
3.1.3 广义程序运行模型
3.1.4 广义顺序一致性模型
3.1.5 广义释放一致性模型
3.1.6 广义域一致性模型
3.2 基于LGScC模型的CC-NUMA系统全局DMA实现技术
3.2.1 支持GPDMA的CC-NUMA 一致性协议设计与实现
3.2.2 基于GPDMA的全局共享并行I/O 系统性能分析
3.3 性能评测与分析
3.3.1 并行I/O带宽测试
3.3.2 I/O 服务时间测试
3.3.3 与国际巨型机I/O系统比较
3.4 小结
第四章 基于强化学习的智能I/O 控制技术
4.1 强化学习
4.1.1 马尔可夫决策过程
4.1.2 目标函数
4.1.3 Q-学习算法
4.2 基于强化学习的I/O调度算法
4.2.1 问题提出
4.2.2 算法思想
4.2.3 环境状态的确定
4.2.4 多Q-表交叉组织方法
4.2.5 瞬时奖赏值函数
4.2.6 Q-值的更新方法
4.2.7 RL-scheduler算法
4.3 RAID控制器关键实现技术
4.3.1 总体结构
4.3.2 RAID智能控制模型
4.3.3 RAID存储管理算法
4.3.4 磁盘任务调度算法
4.4 实验评测与分析
4.4.1 RAID性能测试
4.4.2 RL-Scheduler算法评测
4.5 小结
第五章 支持事务语义的电磁混合存储技术
5.1 面向存储设备的事务语义基本框架
5.1.1 事务原语
5.1.2 版本管理
5.1.3 冲突处理
5.2 支持事务语义的电磁混合存储架构
5.2.1 电磁混合存储系统架构
5.2.2 支持事务语义的电磁混合存储策略
5.3 基于令牌的并行事务冲突处理技术
5.3.1 事务令牌
5.3.2 令牌元数据维护
5.3.3 冲突仲裁
5.4 自适应动态逻辑分区管理算法
5.4.1 算法思想
5.4.2 访问模式检测
5.4.3 基于边际效益的空间分配算法
5.4.4 结合版本管理的区内替换算法
5.5 实验评测与分析
5.5.1 模拟测试环境
5.5.2 自适应动态逻辑分区管理算法评估
5.5.3 基于混合存储的事务冲突处理机制性能评估
5.6 小结
第六章 总结与展望
致谢
参考文献
攻读博士学位期间发表的论文
攻读博士学位期间的科技成果
攻读博士学位期间参与的科研项目
本文编号：3834305
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3834305.html
