对象存储系统的I/O处理与缓存研究

发布时间：2021-06-22 01:20

　　伴随着互联网的发展,数据量呈现爆炸式增长,高性能和高服务质量的需求给传统存储方式以极大挑战。基于对象存储一改传统的块或文件接口,采用富有表现力的对象作为存储接口,克服了块接口与文件接口的缺陷。对象存储系统由元数据服务器、客户节点和基于对象存储设备三部分构成。元数据服务器主要负责元数据的管理,对象存储设备是数据存储的实际载体,客户节点提供标准访问接口。元数据请求是I/O操作的第一步,在获取必要元数据信息后,客户节点与对象存储设备直接进行数据传输,数据操作结束后更新相关的元数据。对象存储系统的I/O操作对象有元数据和数据两类。元数据描述数据的特征信息,具有占用空间小但使用频繁的特点。层次结构的元数据缓存,能有效减少网络通信,降低查询开销。客户节点与对象存储设备之间采用iSCSI （internet Small Computer System Interface）通道,保证数据的可靠传输。数据缓存的主要目的就是提高系统I/O性能,测试表明,合适的分片策略加缓存的作用,I/O性能有很大提高,接近或超过Lustre的读写速率。元数据服务器容易形成单一失效点。链式主从备元数据服务方法改进传统主从互... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

四种存储系统结构图

华 中 科 技 大 学 硕 士 学 位高上层的网络文件系统之间的互操作性，互联网ng Task Force, IETF）目前在NFSv4 的基础上提l NFS）[ 15]，如图 1.2 所示。pNFS在NFSv4 的基础上及文件布局元数据访问接口。pNFS服务端通过文件这些位图元数据信息传递给客户端，然后通过布局驱

华 中 科 技 大 学 硕 士 学 位 论 文能实际上相当于一个缓存代理服务器，主要负责查找缓存是否存在以及从远数据块并缓存。Lustre[23]实现元数据缓存只缓存新写入的元数据，通过缓存汇少通信开销，协作缓存建立在OST上，由OST管理和维护。而存储节点缓存的式，具有自己的特点[ 38]：相对于客户节点缓存，存储节点缓存的访问具有更间间隔；存储节点缓存中各数据块的访问频率大小分布很不均匀。针对该特出存储节点缓存的置换算法MQ（Multi-Queue）：用多队列管理缓存数据块，率高的数据块放入到高队列中，访问频率低的则放入到低队列中，并在访问对数据块所属队列进行动态调整，被置换数据块的块号和访问频率也由一个F列管理，以便重新调整。引入缓存就必须维护缓存一致性。对于多个缓存副本的一致性，根据处理的同，侦听的协议有两种，写无效与写更新，图 1.3 显示二者的差别。


本文编号：3241824