基于I/O转发架构的I/O优化技术研究与实现

发布时间：2021-01-10 04:24

　　随着人类活动空间的拓展,实验手段的丰富,测量仪器的进步,在很多领域产生了海量数据,网络的广泛应用更是加剧了数据的膨胀速度。面对日益增长的海量数据,数据的处理和存储变成一个非常棘手的问题。在海量数据研究的过程中,需要用于计算处理的数据动辄几十TB甚至上百TB,一般的计算机集群显然不能满足需求,我们需要利用大规模超级并行计算系统来处理日益增长的海量数据。当今超级计算机迅猛发展,但其所面临的计算能力与存储能力之间的差距未能得到有效的解决。首先是I/O带宽的问题,随着单核CPU处理能力和CPU数量规模的快速增长,在高性能计算系统中,I/O带宽增长缓慢并与CPU处理能力之间的差距持续扩大,I/O带宽越来越显著的成为高性能计算系统的性能瓶颈。其次是可扩展性问题,高性能计算机一般通过增加计算资源规模来获得性能的提升,而这一规则不适用于存储系统,分布式文件系统所能支持的客户端数量是有限的,因此规模不可以无限制的扩展。目前I/O转发（I/O Forwarding）架构,被广泛应用于大规模超级并行计算系统,用来解决高性能计算当中的可扩展性问题,比如,IBM的Blue Gene/P超级计算机和Cray XT... 

【文章来源】：国防科技大学湖南省 211工程院校 985工程院校

【文章页数】：75 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 课题背景与意义
    1.2 国内外研究现状
    1.3 论文的思路和主要工作
    1.4 论文组织结构
第二章 相关研究
    2.1 高性能计算系统I/O架构
    2.2 存储设备的I/O特性
        2.2.1 硬盘驱动器（HDD）
        2.2.2 磁盘阵列（RAID）
        2.2.3 固态硬盘（SSD）
    2.3 主动存储技术
        2.3.1 主动存储的概念
        2.3.2 主动存储的相关研究
    2.4 数据压缩技术
        2.4.1 数据压缩概述
        2.4.2 数据压缩技术现状
        2.4.3 有损压缩和无损压缩
    2.5 本章小结
第三章 面向I/O转发架构的优化研究与设计
    3.1 面向I/O转发架构的I/O模型
    3.2 I/O转发架构优化设计
    3.3 本章小结
第四章 基于主存和SSD的异构缓冲区研究与设计
    4.1 固态硬盘在应用中的分析
    4.2 固态硬盘作为辅助缓冲区设计
    4.3 缓存优化和延迟隐藏策略
        4.3.1 I/O中转节点缓冲区回写策略
        4.3.2 I/O中转节点缓冲区预读策略
    4.4 本章小结
第五章 主动数据处理的研究与实现
    5.1 主动数据处理软件架构设计
    5.2 主动数据处理I/O架构设计
    5.3 并行压缩架构研究与实现
        5.3.1 数据压缩策略
        5.3.2 并行压缩架构设计
    5.4 本章小结
第六章 工程实现和性能评估
    6.1 基于GlusterFS文件系统研究与设计
        6.1.1 GlusterFS文件系统概述
        6.1.2 Translator设计
    6.2 测试平台和部署
    6.3 性能测试与分析
        6.3.1 I/O中转节点内存I/O读写性能测试
        6.3.2 DDN盘阵I/O读写性能测试
        6.3.3 I/O中转节点SSD阵列I/O读写性能测试
        6.3.4 主动数据处理模块并行压缩性能测试
    6.4 本章小结
结束语
致谢
参考文献
作者在学期间取得的学术成果



本文编号：2968054