海量对象存储系统数据组织算法的研究
发布时间：2021-01-21 04:01
在网络存储系统中,数据的组织优化是提高存储系统性能的有效方法之一。合理的数据组织算法可提高存储系统的性能,使存储系统具有高可靠性、可用性和可扩展性。网络存储系统中的数据组织包括两个方面的内容:存储空间的数据组织和传输路径上的数据组织。存储空间的数据组织利用存储节点间的并行性,提高存储系统的I/O性能,通过不同存储节点的数据副本提高数据的可靠性和可用性;传输路径上的数据组织则是通过传输路径上的Cache合理配置和替换算法的选择,达到提高I/O性能的目的。本文根据对象存储系统的特点,研究数据组织的算法及相关问题,包括以下几方面的内容:对象存储区别于其它网络存储系统之处在于它将文件系统的存储管理和用户管理分离,存储管理由存储节点来完成,而用户管理则通过元数据服务器来实现。这种功能的分离使得元数据服务器成为瘦服务器,便于存储系统的扩展。对象有丰富的语义,通过对象的语义,对象存储为存储系统提供安全保障,还可以为应用提供基于QoS的I/O服务。对象存储系统的体系结构使其有两种数据传输模式:NAS模式和三方传送模式,传输模式结合Cache方案可达到提高存储系统性能的目的。对象存储系统的存储空间的数据...
【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】：121 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
1 存储系统概述
1.1 信息存储需求新特点
1.2 信息存储的现状
1.2.1 存储设备的现状
1.2.2 存储系统的现状
1.2.3 信息存储的研究热点
1.3 存储系统的数据分布和组织
1.3.1 计算机系统层次存储模型
1.3.2 网络存储系统的性能模型
1.3.3 网络存储系统中的数据组织
1.3.4 数据组织的重要性
1.4 本文的主要内容
1.5 课题来源
2 海量对象存储系统
2.1 对象存储思路
2.1.1 NAS
2.1.2 SAN
2.1.3 对象存储
2.2 对象存储系统的体系结构
2.2.1 硬件体系结构
2.2.2 软件结构
2.3 三方传送模式和NAS 模式
2.3.1 对象存储中的数据传输模式
2.3.2 两种模式的性能比较
2.4 基于三方传送的对象存储安全方案
2.5 对象存储应用方向
2.6 本章小结
3 可扩展对象存储系统的数据分配算法
3.1 分布式存储系统数据分配算法
3.2 分布式存储系统模型及相关定义
3.2.1 分布式对象存储系统模型
3.2.2 存储模型的相关定义
3.3 可扩展的存储系统数据分配算法
3.3.1 数据分配算法的设计原则
3.3.2 存储系统数据分配算法
3.3.3 数据分配算法的时间和空间开销
3.3.4 数据重新组织算法
3.3.5 异构存储节点的数据分配和重组算法
3.4 本章小结
4 基于QOS 的数据迁移模型的设计
4.1 基于QOS 的I/O 模型
4.1.1 OSD 协议
4.1.2 基于QoS 的I/O 响应调度模型
4.2 基于QOS 数据迁移调度算法
4.2.1 基于QoS 的迁移思想
4.2.2 迁移收益
4.2.3 基于QoS 的迁移体系结构
4.2.4 最大收益调度算法
4.3 实验及结果分析
4.4 本章小结
5 存储系统的CACHE 替换算法的研究
5.1 存储系统模型及其性能公式
5.1.1 层次存储系统模型
5.1.2 存储系统的性能公式
5.2 存储系统的CACHE 替换算法
5.2.1 LAT 算法
5.2.2 WLFRU 算法
5.3 CACHE 替换算法的模拟及性能分析
5.4 本章小结
6 对象存储系统中的CACHE 方案
6.1 存储系统CACHE 方案的整体思路
6.2 存储节点的CACHE 方案
6.2.1 存储节点的数据对象访问特点
6.2.2 MEMS 存储设备
6.2.3 存储节点的写Buffer
6.2.4 存储节点的预取Buffer
6.2.5 存储节点控制器Cache 替换算法
6.3 元数据服务器CACHE 方案
6.3.1 元数据服务器Cache 的设计
6.3.2 准入控制策略
6.3.3 Cache 替换算法
6.4 客户端Cache 方案
6.4.1 客户端数据访问特点
6.4.2 客户端Cache 的设计
6.5 性能评价
6.5.1 存储节点Cache 性能
6.5.2 元数据服务器及客户端Cache 性能评价
6.6 本章小结
7 全文总结
7.1 本文取得的主要研究成果
7.2 进一步研究工作的考虑
致谢
参考文献
附录 攻读博士学位期间发表论文目录
【参考文献】：
期刊论文
[1]基于三方传送的USN的设计和实现[J]. 罗益辉,谢长生,张成峰. 计算机工程. 2006(03)
[2]IP-SAN的研究与设计[J]. 谢长生,罗益辉. 小型微型计算机系统. 2005(06)
[3]操作系统与硬盘的数据组织[J]. 王建军. 计算机时代. 2003(02)
本文编号：2990419
【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】：121 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
1 存储系统概述
1.1 信息存储需求新特点
1.2 信息存储的现状
1.2.1 存储设备的现状
1.2.2 存储系统的现状
1.2.3 信息存储的研究热点
1.3 存储系统的数据分布和组织
1.3.1 计算机系统层次存储模型
1.3.2 网络存储系统的性能模型
1.3.3 网络存储系统中的数据组织
1.3.4 数据组织的重要性
1.4 本文的主要内容
1.5 课题来源
2 海量对象存储系统
2.1 对象存储思路
2.1.1 NAS
2.1.2 SAN
2.1.3 对象存储
2.2 对象存储系统的体系结构
2.2.1 硬件体系结构
2.2.2 软件结构
2.3 三方传送模式和NAS 模式
2.3.1 对象存储中的数据传输模式
2.3.2 两种模式的性能比较
2.4 基于三方传送的对象存储安全方案
2.5 对象存储应用方向
2.6 本章小结
3 可扩展对象存储系统的数据分配算法
3.1 分布式存储系统数据分配算法
3.2 分布式存储系统模型及相关定义
3.2.1 分布式对象存储系统模型
3.2.2 存储模型的相关定义
3.3 可扩展的存储系统数据分配算法
3.3.1 数据分配算法的设计原则
3.3.2 存储系统数据分配算法
3.3.3 数据分配算法的时间和空间开销
3.3.4 数据重新组织算法
3.3.5 异构存储节点的数据分配和重组算法
3.4 本章小结
4 基于QOS 的数据迁移模型的设计
4.1 基于QOS 的I/O 模型
4.1.1 OSD 协议
4.1.2 基于QoS 的I/O 响应调度模型
4.2 基于QOS 数据迁移调度算法
4.2.1 基于QoS 的迁移思想
4.2.2 迁移收益
4.2.3 基于QoS 的迁移体系结构
4.2.4 最大收益调度算法
4.3 实验及结果分析
4.4 本章小结
5 存储系统的CACHE 替换算法的研究
5.1 存储系统模型及其性能公式
5.1.1 层次存储系统模型
5.1.2 存储系统的性能公式
5.2 存储系统的CACHE 替换算法
5.2.1 LAT 算法
5.2.2 WLFRU 算法
5.3 CACHE 替换算法的模拟及性能分析
5.4 本章小结
6 对象存储系统中的CACHE 方案
6.1 存储系统CACHE 方案的整体思路
6.2 存储节点的CACHE 方案
6.2.1 存储节点的数据对象访问特点
6.2.2 MEMS 存储设备
6.2.3 存储节点的写Buffer
6.2.4 存储节点的预取Buffer
6.2.5 存储节点控制器Cache 替换算法
6.3 元数据服务器CACHE 方案
6.3.1 元数据服务器Cache 的设计
6.3.2 准入控制策略
6.3.3 Cache 替换算法
6.4 客户端Cache 方案
6.4.1 客户端数据访问特点
6.4.2 客户端Cache 的设计
6.5 性能评价
6.5.1 存储节点Cache 性能
6.5.2 元数据服务器及客户端Cache 性能评价
6.6 本章小结
7 全文总结
7.1 本文取得的主要研究成果
7.2 进一步研究工作的考虑
致谢
参考文献
附录 攻读博士学位期间发表论文目录
【参考文献】：
期刊论文
[1]基于三方传送的USN的设计和实现[J]. 罗益辉,谢长生,张成峰. 计算机工程. 2006(03)
[2]IP-SAN的研究与设计[J]. 谢长生,罗益辉. 小型微型计算机系统. 2005(06)
[3]操作系统与硬盘的数据组织[J]. 王建军. 计算机时代. 2003(02)
本文编号：2990419
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2990419.html
