面向多层存储架构的I/O优化技术研究

发布时间：2021-04-12 16:47

　　随着高性能计算技术的快速发展,I/O密集型应用对高性能计算机的存储子系统的容量、性能、可扩展性和可靠性等方面提出了越来越高的要求,在大数据时代下,海量数据的快速分析处理也需要优秀的存储系统作为支撑。存储子系统作为高性能计算机系统的关键组成部分,其I/O性能和系统计算性能的不匹配已经成为阻碍系统整体性能提升的重要瓶颈。磁盘作为目前主流的存储设备,其性能提升速度远远落后于CPU等计算设备的性能提升速度,面对这一事实,现有存储架构的性能可提升空间有限。多层存储架构的灵感来自于单机环境下的存储层次结构,为高性能计算机的计算节点增加存储设备组成本地存储,将原有的存储子系统作为全局存储,两者组成多层结构,充分发挥各种类型存储资源的优势,是未来高性能计算机存储系统的发展方向。本文面向多层存储架构,对其I/O优化技术进行了研究,主要工作如下:1、对多层存储架构的运行模式进行了研究。多层存储架构相比传统的单层存储架构有着更大的性能提升空间,本文分析了目前多层存储架构中使用的I/O调度和容错方法,指出了其中存在的问题和对其进行优化的方向。2、设计实现了一种基于节点I/O繁忙度的I/O调度方法。在多层存储架... 

【文章来源】：国防科技大学湖南省 211工程院校 985工程院校

【文章页数】：70 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景
        1.1.1 高性能计算技术的快速发展
        1.1.2 存储系统对高性能计算机性能的影响
        1.1.3 高性能计算机I/O系统面临的突出挑战
    1.2 多层存储架构
        1.2.1 当前单层存储架构的局限
        1.2.2 计算机中存储器的层次结构
        1.2.3 多层存储系统组成结构
        1.2.4 多层存储系统中亟待解决的关键问题
    1.3 本文工作
    1.4 本文结构
第二章 层次式文件系统
    2.1 层次式文件系统结构
        2.1.1 多层存储资源管理框架
        2.1.2 系统融合管理模块
    2.2 层次式文件系统的I/O调度方法
        2.2.1 I/O调度对I/O性能的影响
        2.2.2 常见的I/O调度器
    2.3 层次式文件系统的I/O容错方法
        2.3.1 非运行时容错
        2.3.2 运行时容错
    2.4 本章小结
第三章 基于节点I/O繁忙度的I/O调度方法
    3.1 I/O繁忙度的定义
    3.2 层次式的I/O繁忙度获取及维护策略
    3.3 分布协同的运行时I/O调度算法
    3.4 本章小结
第四章 基于分层协同的I/O容错方法
    4.1 I/O容错代理层的构建方法
    4.2 面向“磁盘满”异常的I/O容错方法设计
        4.2.1 本地存储空间的“磁盘满”异常
        4.2.2 面向“磁盘满”异常的I/O容错过程
    4.3 面向多副本读异常的I/O容错方法设计
        4.3.1 多副本读异常
        4.3.2 面向多副本读异常的I/O容错过程
    4.4 本章小结
第五章 系统实现与性能测试
    5.1 系统实现
        5.1.1 基于节点I/O繁忙度的I/O调度方法的实现
        5.1.2 基于分层协同I/O容错方法的实现
    5.2 性能测试
        5.2.1 调度性能测试
        5.2.2 容错能力测试
    5.3 本章小结
第六章 结论与展望
    6.1 研究工作总结
    6.2 工作展望
致谢
参考文献
作者在学期间取得的学术成果


【参考文献】：
博士论文
[1]大规模Lustre集群文件系统关键技术的研究[D]. 钱迎进.国防科学技术大学 2011
[2]大规模分布式存储技术研究[D]. 魏青松.电子科技大学 2004
[3]分布式文件系统高可用问题研究[D]. 史小冬.中国科学院研究生院（计算技术研究所） 2002



本文编号：3133629