对象存储系统中数据通道的设计与实现
发布时间:2022-01-02 19:30
随着数字信息的爆炸式增长和应用需求的不断提高,传统的网络存储系统在容量、性能、可扩展性、安全性、服务质量等方面面临着巨大挑战,对象存储技术采用全新的对象接口,被认为是下一代网络存储技术的标准。设计高效的对象存储系统,使其能充分发挥对象存储技术的优势,以满足日益增长的海量数据存储需求已成为新的研究热点。对象存储系统由元数据服务器、对象存储设备、客户端文件系统和互连网络四部分组成。对象存储系统中客户端文件系统和对象存储设备之间的通信所经由的数据通道是影响整个系统性能的关键之一,其包括二者之间通信所采用的传输协议及其内部采用的缓冲策略。通过研究原有对象系统HOSS关键部分的运行机制,采用更细粒度的缓冲策略和开源的UNH iSCSI协议传输模块对HOSS系统中的数据通道及缓冲层进行重新设计与实现。通过与对象存储系统HOSS改进前后的读/写性能对比的结果表明,改进后的系统写性能在文件大小为512K时提高最大,提高了1.65倍;读性能在文件大小为256M时提高最大,提高了85%。通过测试还分析了包长度和OSD数量对系统读写性能的影响。另外还提出了相关算法和思想用于解决HOSS系统存在的缓存一致性问...
【文章来源】:华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】:64 页
【学位级别】:硕士
【部分图文】:
HOSSv2系统结构(不包括MDS)
图 2.2 iSCSI 低级驱动功能简介iSCSI 层作为 HOSSv2 系统的关键部分在 CFS 端和 OSD 端都存在,在 CFS 端作为 Initiator 发起请求;在 OSD 端作为 Target 响应请求。由图 2.2 看到,CFS 将一个对文件的操作转化为对象操作,而对象的属性则来自 MDS。对象层即负责将文件映射为对象,并封装各种操作码和相关的参数,然后传递给 iSCSI Initiator 端,iSCSI层有两个主要的线程为 tx_thread 和 rx_thread,分别发送和接收各种 iSCSI PDU。UNH-iSCSI 的 Initiator 采用多重会话和连接的机制,如图 2.3 所示。每一个会话代表一个 Target,每个会话可以有多个连接,
图 2.3 Initiator 传输机制象存储设备(OSD) UNH-iSCSI 原来的架构,它实现了一个模拟的 SCSI Target,这(SCSI Target Mid-Level),用于对 SCSI 命令的解析和处理。而 HO则置于这个模拟的 SCSI Target 之下。通过 handle_OSD_cmd()将SD 层并处理。OSD 层完成以下功能:储何传统的存储设备那样,它必须管理布局在标准的磁道和扇区上只能通过它们的对象ID(包括分区id和用户id,即pid与uid)来访问以块(block)格式被访问。计算节点需要有一个特定的对象 ID,一数据的起始地址(offset)以及请求的数据块长度(length),才能去访在目前已实现的 OSD 中,数据是以文件的形式存放,即通过将
【参考文献】:
硕士论文
[1]对象存储系统的元数据管理[D]. 张顺达.华中科技大学 2006
本文编号:3564757
【文章来源】:华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】:64 页
【学位级别】:硕士
【部分图文】:
HOSSv2系统结构(不包括MDS)
图 2.2 iSCSI 低级驱动功能简介iSCSI 层作为 HOSSv2 系统的关键部分在 CFS 端和 OSD 端都存在,在 CFS 端作为 Initiator 发起请求;在 OSD 端作为 Target 响应请求。由图 2.2 看到,CFS 将一个对文件的操作转化为对象操作,而对象的属性则来自 MDS。对象层即负责将文件映射为对象,并封装各种操作码和相关的参数,然后传递给 iSCSI Initiator 端,iSCSI层有两个主要的线程为 tx_thread 和 rx_thread,分别发送和接收各种 iSCSI PDU。UNH-iSCSI 的 Initiator 采用多重会话和连接的机制,如图 2.3 所示。每一个会话代表一个 Target,每个会话可以有多个连接,
图 2.3 Initiator 传输机制象存储设备(OSD) UNH-iSCSI 原来的架构,它实现了一个模拟的 SCSI Target,这(SCSI Target Mid-Level),用于对 SCSI 命令的解析和处理。而 HO则置于这个模拟的 SCSI Target 之下。通过 handle_OSD_cmd()将SD 层并处理。OSD 层完成以下功能:储何传统的存储设备那样,它必须管理布局在标准的磁道和扇区上只能通过它们的对象ID(包括分区id和用户id,即pid与uid)来访问以块(block)格式被访问。计算节点需要有一个特定的对象 ID,一数据的起始地址(offset)以及请求的数据块长度(length),才能去访在目前已实现的 OSD 中,数据是以文件的形式存放,即通过将
【参考文献】:
硕士论文
[1]对象存储系统的元数据管理[D]. 张顺达.华中科技大学 2006
本文编号:3564757
本文链接:https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3564757.html