BlueOcean海量存储系统客户端的设计与实现

发布时间：2021-07-26 20:47

　　随着信息技术的飞速发展,传统的存储系统已经难以满足现代社会的信息存储需求,很多新型应用需要使用大规模、高性能、高可靠的海量存储系统。近年来,学术界和企业界将海量存储系统技术作为研究的一个热点问题,并随之涌现出一批新型的海量存储系统。在海量存储系统中,客户端的设计与实现方式对于系统的性能等有重要影响。BlueOcean是一款大容量、高性能、高可靠、易管理的海量存储系统。它采用面向对象的存储技术,系统由管理节点、数据节点和客户端组成。管理节点负责保存和管理元数据,将元数据保存在内存以提升性能;数据节点负责保存数据,使用多份副本技术保证数据的可靠性;客户端对外提供遵守Posix语义的访问接口,可以支持绝大多数应用程序的透明访问。本文以BlueOcean海量存储系统为基础,研究了海量存储系统客户端设计中的关键技术问题,设计并实现了一款高性能的,通用的客户端程序。论文的主要工作如下:（1）对现有的海量存储系统进行了研究,分析了它们的系统架构和关键技术问题。（2）比较了几种客户端架构方案,设计了系统的总体架构以及通信交互协议等。（3）设计并实现了客户端的系统接口,描述了元数据操作接口和数据操作接口... 

【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

PVFS系统架构

图 2-2 Lustre 系统架构Figure 2-2 Architecture of Lustre system在 Lustre 系统中，关键的三个模块的功能如下：1．MDS：MDS 负责管理元数据，提供一个全局的命名空间，Client 可MDS 读取到保存于 MDT(Meta Data Target)之上的元数据。在 Lustre 文件MDS 可以有 2 个，采用了 Active-Standby 的容错机制，当其中一个 MD常工作时，另外一个后备 MDS 可以启动服务。MDT 只能有 1 个，不同 共享访问同一个 MDT。2．OSS：OSS 负责提供 I/O 服务，接受并服务来自网络的请求。通过 O访问到保存在 OST 上的文件数据。一个 OSS 对应 2 到 8 个 OST，其存以高达 8TB。OST 上的文件数据是以分条的形式保存的，文件的分条个 OSS 之中，也可以保存在多个 OSS 中。Lustre 文件系统的特色之一是基于对象来存储的，跟传统的基于块的存储方式有所不同。3．Client：Lustre 文件系统通过 Client 端来访问系统，Client 为挂载了 L系统的任意节点。Client 提供了 Linux 下 VFS(虚拟文件系统)与 Lustre

图 2-3 GoogleFS 系统架构Figure 2-3 Architecture of GoogleFS主服务器负责维护所有文件系统的元数据，包括命名空间、文件至数据块的映射信息，访问控制信息以及主存中数据块的当前位置。将数据块读入主存是为了提高主服务器的操作性能。为了获得数据块的位置信息，主服务器只在数据块服务器启动时才轮询数据块信息，只有新的数据块产生并有心跳信息的提示时主服务器才更新这些位置信息。客户端直接使用自定义的文件系统 API 来访问主服务器和块服务器。为了减少发给主服务器的请求数量，客户端只对元数据进行缓存。需要注意的是，客户端和块服务器对文件数据不进行高速缓存。GoogleFS 采用副本技术来提高数据可用性，数据块和元数据都有副本，比如每个数据块在 3 台块服务器上都存在副本，当管理元数据的主服务器宕机时，备用的“影子”服务器则切换过来，但它只能提供读取操作，不支持修改、写入操作。为了增加数据可恢复性，GoogleFS采用了操作日志和快照技术。

【参考文献】：
期刊论文
[1]分布式文件系统元数据服务器高可用性设计[J]. 战科宇,李小勇,刘海涛.  小型微型计算机系统. 2013(04)



本文编号：3304343