Linux集群上并行I/O与核外存储策略的研究与实现
发布时间：2020-12-12 06:02
随着工作站性能的迅速提高和价格日益下降,以及高速网络产品的陆续问世,一种新型的并行计算机系统工作站集群应运而生。工作站集群属于分布式存储的MIMD,这种系统将许多台工作站用某种结构的互联网络连接起来,充分利用各工作站的资源,统一调度,协调处理,以实现高效的并行计算。Linux是一套免费使用和自由传播的类UNIX操作系统,主要用于基于Intel x86系列CPU的计算机上。Linux系统是由全世界各地的成千上万的程序员设计和实现的,其目的是建立不受任何商品化软件的版权所制约的、全世界都能自由使用的UNIX兼容产品。在这种背景下,Linux工作站集群飞速发展起来。高性能计算领域经常需要处理大量的数据。为了满足处理大规模数据的需求,本文主要研究和实现Linux集群上的并行I/O与核外存储策略。并行I/O是一个很广泛的领域,包括硬件系统,操作系统支持,语言、编译器和运行系统支持,I/O特征与性能分析,I/O密集型并行应用。本文着重于Linux集群上的并行文件系统的研究与核外存储系统库的设计与实现。首先,本文阐述了并行I/O的系统结构,主要内容涉及磁盘存储系统、RAID和iSCSI,文件系统,互...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：72 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 人们处理大规模数据的需求
1.2 并行计算机的发展历程和趋势
1.2.1 向量机
1.2.2 SIMD 计算机
1.2.3 共享存储多处理机SMP
1.2.4 大规模并行处理MPP
1.2.5 集群
1.3 Linux 操作系统的成熟完善
1.3.1 Linux 的特性
1.3.2 Linux 是自由软件
1.4 Linux 工作站集群的发展
1.4.1 Beowulf
1.4.2 Giganet cLAN
1.4.3 Legion
1.4.4 Cplant
1.4.5 Linux 虚拟服务器
1.4.6 MOSIX
1.5 本文主要研究内容
第2章 并行I/O 的系统结构
2.1 磁盘存储系统、RAID 和iSCSI
2.1.1 磁盘存储系统
2.1.2 磁盘阵列RAID
2.1.3 iSCSI
2.2 文件系统
2.2.1 文件系统的概念
2.2.2 文件缓存
2.2.3 文件系统的出错恢复
2.3 互联网络
2.3.1 Myrinet
2.3.2 Giganet
2.3.3 IEEE SCI
2.4 网络文件系统
2.4.1 网络文件系统的概念
2.4.2 NFS
2.4.3 xFS
2.5 并行文件系统
2.5.1 并行文件系统的概念
2.5.2 Intel CFS
2.5.3 Intel PFS
2.5.4 IBM Vesta、PIOFS 和GPFS
2.6 并行I/O 界面
2.6.1 高层界面研究
2.6.2 PASSION
2.6.3 ADIO
2.7 本章小结
第3章 并行文件系统PVFS 剖析
3.1 PVFS 简介
3.2 系统特点
3.3 设计原理及实现
3.3.1 元数据管理服务器mgr
3.3.2 I/O 服务器iod
3.3.3 I/O 库libpvfs
3.3.4 Linux 核心支持
3.4 PVFS 应用程序接口
3.4.1 自定义API
3.4.2 MPI-IO 接口
3.4.3 标准POSIX/UNIX I/O 兼容接口
3.5 本章小结
第4章 面向对象的核外存储策略
4.1 核外存储实现方案
4.1.1 核外存储系统结构
4.1.2 核外存储系统的特点
4.2 C++中操作符重载和模板的概念
4.2.1 什么是操作符重载
4.2.2 C++中操作符重载的实现
4.2.3 模板（template）
4.3 一维数组模板类
4.3.1 一维数组模板类的抽象数据类型描述
4.3.2 实现一维数组模板类主要考虑的问题
4.3.3 类说明和函数简介
4.3.4 一维数组模板类的特点
4.4 多维数组模板类
4.4.1 派生法
4.4.2 成员构造法
4.4.3 两种实现方法的比较
4.5 实验数据与结果分析
4.5.1 向量内积运算测试一维数组模板类
4.5.2 矩阵乘法运算测试二维数组模板类
4.6 本章小结
结论
参考文献
致谢
本文编号：2911989
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：72 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 人们处理大规模数据的需求
1.2 并行计算机的发展历程和趋势
1.2.1 向量机
1.2.2 SIMD 计算机
1.2.3 共享存储多处理机SMP
1.2.4 大规模并行处理MPP
1.2.5 集群
1.3 Linux 操作系统的成熟完善
1.3.1 Linux 的特性
1.3.2 Linux 是自由软件
1.4 Linux 工作站集群的发展
1.4.1 Beowulf
1.4.2 Giganet cLAN
1.4.3 Legion
1.4.4 Cplant
1.4.5 Linux 虚拟服务器
1.4.6 MOSIX
1.5 本文主要研究内容
第2章 并行I/O 的系统结构
2.1 磁盘存储系统、RAID 和iSCSI
2.1.1 磁盘存储系统
2.1.2 磁盘阵列RAID
2.1.3 iSCSI
2.2 文件系统
2.2.1 文件系统的概念
2.2.2 文件缓存
2.2.3 文件系统的出错恢复
2.3 互联网络
2.3.1 Myrinet
2.3.2 Giganet
2.3.3 IEEE SCI
2.4 网络文件系统
2.4.1 网络文件系统的概念
2.4.2 NFS
2.4.3 xFS
2.5 并行文件系统
2.5.1 并行文件系统的概念
2.5.2 Intel CFS
2.5.3 Intel PFS
2.5.4 IBM Vesta、PIOFS 和GPFS
2.6 并行I/O 界面
2.6.1 高层界面研究
2.6.2 PASSION
2.6.3 ADIO
2.7 本章小结
第3章 并行文件系统PVFS 剖析
3.1 PVFS 简介
3.2 系统特点
3.3 设计原理及实现
3.3.1 元数据管理服务器mgr
3.3.2 I/O 服务器iod
3.3.3 I/O 库libpvfs
3.3.4 Linux 核心支持
3.4 PVFS 应用程序接口
3.4.1 自定义API
3.4.2 MPI-IO 接口
3.4.3 标准POSIX/UNIX I/O 兼容接口
3.5 本章小结
第4章 面向对象的核外存储策略
4.1 核外存储实现方案
4.1.1 核外存储系统结构
4.1.2 核外存储系统的特点
4.2 C++中操作符重载和模板的概念
4.2.1 什么是操作符重载
4.2.2 C++中操作符重载的实现
4.2.3 模板（template）
4.3 一维数组模板类
4.3.1 一维数组模板类的抽象数据类型描述
4.3.2 实现一维数组模板类主要考虑的问题
4.3.3 类说明和函数简介
4.3.4 一维数组模板类的特点
4.4 多维数组模板类
4.4.1 派生法
4.4.2 成员构造法
4.4.3 两种实现方法的比较
4.5 实验数据与结果分析
4.5.1 向量内积运算测试一维数组模板类
4.5.2 矩阵乘法运算测试二维数组模板类
4.6 本章小结
结论
参考文献
致谢
本文编号：2911989
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2911989.html
