可扩展I/O的研究和参考实现

发布时间：2021-10-25 01:26

　　在文件系统和I／O领域，提高性能和I／O的可扩展性是人们的研究目标。在磁盘存储系统、网络文件系统、并行文件系统和并行I／O界面上已经有了很多研究成果，但在可扩展并行系统的I／O上，既缺乏统一的标准，又缺乏对影响因素的深入了解。可扩展I／O（SIO）研究集中在硬件系统、操作系统支持、语言编译器和Runtime系统的支持、应用的I／O特征分析，和需要大量I／O的并行应用设计五个方面。本文着重于一种可扩展I／O标准界面的设计、一个可扩展文件系统的设计，以及在大规模并行处理系统和机群体系结构系统上参考实现和原型系统的实现与评价。 本文提出一种新型的I／O编程界面，称作“可扩展I／O底层应用编程界面”（SIO-LLAPI），这种简单的以性能为目标的底面界面是用以支持文件系统开发者有效地开发高层的并行I／O界面和为并行I／O的研究者提供基础平台。这项API设计工作是美国NSF组织的Scalable I／O Initiative项目的一部分。 本文描述了在Intel Paragon多机系统上SIO-LLAPI的一种参考实现（Reference Implementation）。在这个SIO... 

【文章来源】：中国科学院大学(中国科学院计算技术研究所)北京市

【文章页数】：163 页

【学位级别】：博士

【文章目录】：
摘要
Abstract
第一章 引言
    1.1 可扩展I/O
    1.2 适用性
    1.3 参考实现和原型系统
    1.4 论文的贡献
    1.5 本文的组织
第二章 背景和相关研究
    2.1 文件系统
        2.1.1 基本概念
        2.1.2 文件缓存
        2.1.3 文件系统出错恢复
    2.2 磁盘存储系统
        2.2.1 基本概念
        2.2.2 RAID
        2.2.3 磁盘优化
        2.2.4 日志式文件系统
        2.2.5 逻辑磁盘
    2.3 网络文件系统
        2.3.1 基本概念
        2.3.2 NFS
        2.3.3 Sprite
        2.3.4 Zebra
        2.3.5 xFS
    2.4 并行文件系统
        2.4.1 条块化机制
        2.4.2 Intel CFS
        2.4.3 Intel PFS
        2.4.4 IBM Vesta和PIOFS
    2.5 并行I／O界面
        2.5.1 高层界面研究
        2.5.2 PASSION
        2.5.3 ADIO
    2.6 可扩展I／O研究的重要方向
        2.6.1 硬件系绕
        2.6.2 操作系统支持
        2.6.3 语言、编译器和运行系统的支持
        2.6.4 I／O特征分析
        2.6.5 并行I／O应用程序
    2.7 若干重要问题
        2.7.1 文件服务器瓶颈
        2.7.2 Hints研究
        2.7.3 I／O可扩展性
        2.7.4 可用性
第三章 可扩展I／O底层API设计
    3.1 SCALABLE I／O INITIATIVE动机
    3.2 可扩展I／O系统的结构
    3.3 底层API的目标
    3.4 底层API功能列表
    3.5 底层API的主要特色
        3.5.1 同步和异步I／O
        3.5.2 Scatter-gather方式文件和内存区域
        3.4.3 文件存取模式Hints
        3.4.4 应用程序控制的客户端缓存
        3.4.5 文件控制操作
        3.4.6 Collective I／O支持
        3.4.7 Fast Copy支持
        3.4.8 What's Not
第四章 PARAGON多计算机上的参考实现
    4.1 INTEL PARAGON多计算机
        4.1.1 体系结构
        4.1.2 通信系统
        4.1.3 Intel PFS术语
        4.1.4 测试平台
    4.2 参考实现
        4.2.1 设计均衡
            4.2.1.1 文件系统数据结构和文件数据布局
            4.2.1.2 文件系统体系结构
            4.2.1.3 文件系统安全性
        4.2.2 核心功能
            4.2.2.1 open／close
            4.2.2.2 同步读写
            4.2.2.3 异步I／O
            4.2.2.4 I／O控制
            4.2.2.5 其它功能
        4.2.3 可选机制
            4.2.3.1 客户端缓存
            4.2.3.2 合作式缓存
            4.2.3.3 预取和服务器端调度
        4.2.4 Collective I／O
        4.2.5 Fast Copy
    4.3 设计和性能评价
        4.3.1 实现容易
        4.3.2 性能
            4.3.2.1 基本读写性能
            4.3.2.2 Collective I／O和Fast Copy
        4.3.3 API的灵活性
    4.4 经验和实现建议
        4.4.1 读写性能因素
        4.4.2 客户端缓存
        4.4.3 快速IPC机制的重要性
        4.4.4 其它细节
第五章 支持I／O高层界面
    5.1 SIO-LLAPI之上的PFS
        5.1.1 方法
        5.1.2 实现细节
        5.1.3 性能评价
    5.2 ADIO和其它界面
    5.3 应用的经验
    5.4 讨论
        5.4.1 功能性支持
        5.4.2 SIO-LLAPI的限制
        5.4.3 未回答的问题
第六章 机群系统上可扩展I／O的研究和原型
    6.1 曙光2000系统
        6.1.1 机群体系结构
        6.1.2 通信机制
        6.1.3 文件系统和存储结构
        6.1.4 测试平台
    6.2 COSMOS文件系统
        6.2.1 设计目的
        6.2.2 设计特色
            6.2.2.1 单一映像
            6.2.2.2 Unix文件语义
            6.2.2.3 Server-less体系结构
            6.2.2.4 软件RAID和并行I／O
            6.2.2.5 管理分布
        6.2.3 文件系统的结构和数据布局
            6.2.3.1 超级块
            6.2.3.2 l-node结构和目录
            6.2.3.3 条块组和子文件
        6.2.4 实现和关键技术
            6.2.4.1 核心扩充
            6.2.4.2 Client Daemon
            6.2.4.3 Manager Daemon
            6.2.4.4 Storage Daemon
            6.2.4.5 通信机制和互斥操作
        6.2.5 性能评价
    6.3 SIO-LLAPI在COSMOS上的原型设计
        6.3.1 研究的预期目的
        6.3.2 主要设计决定
            6.3.2.1 用户空间实现
            6.3.2.2 COSMOS兼容的文件系统和存储结构
            6.3.2.3 Two-layer方法和模块设计
            6.3.2.4 Directory Daemon
        6.3.3 原型实现
            6.3.3.1 SIO API相关层
            6.3.3.2 文件系统结构相关模块
            6.3.3.3 对COSMOS Daemon的修改
        6.3.4 性能评价
        6.3.5 讨论
    6.4 机群文件系统的研究问题
        6.4.1 可靠性和出错恢复
        6.4.2 高可用性支持
        6.4.3 高效通信模式
        6.4.4 支持Read-Intensive应用
        6.4.5 用户控制的策略
第七章 结论和进一步的工作
参考文献
作者简介


【参考文献】：
硕士论文
[1]MPI-IO中基于模式感知的数据重组织[D]. 何军.湖南大学 2012



本文编号：3456375