面向小文件的分布式存储中间件的设计与实现

发布时间：2021-08-12 02:45

　　随着人工智能产业的不断发展,在这样的发展环境中,人工智能所需要训练的文件,如图片,语料,声频等等的存储量越来越大。传统的单机存储已经很难达到产业文件容量的要求。而且随着深度学习等算法的不断发展,算法的准确率不断提升,算法的计算效率也随着各种算法开源项目的发展不断提升,存储对算法效率的提升的影响也愈发明显。在这样的环境下,文件存储就面连着海量数据与高性能的问题。如何高效检索,降低管理存储成本,提高可靠性与高性能是当前面向算法训练的存储系统需要面对的问题。该项目的实现则是为了解决前面提到的问题应运而生的基于ceph分布式存储方案的中间件。目前公司所存储的文件主要在10KB¹00KB之间的小文件。在参照公司要求与当前比较先进的开源技术如Redis/Codis、tikv、etcd等构建了中间件SenseAgent。该中间件使用了目前较快的稳定存储介质nvme盘以及内存分别实现了缓存的两种模式,利用ceph实现了文件存储的基础服务。在分布式事务上,采用etcd作为分布式锁的解决方案。利用tikv的开源项目实现了文件的元数据服务。在服务通讯商使用thrift-rpc以及go的... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：90 页

【学位级别】：硕士

【部分图文】：

系统用例图

哈尔滨工业大学工程硕士学位论文第 3 章 总体设计3.1 引言在前一章中，说明了中间件的功能与非功能的需求以及中间件用例设计。本章着重介绍系统的架构设计与部署结构，然后对系统的各个功能进行模块划分，分别描述每个模块的主要流程逻辑。3.2 系统功能结构系统功能结构如图 3-1 所示。

图 3-2 架构图户端层：客户端层主要由 SenseAgentFileSystem 后面简称 Safs、ient 构成。这三者都是基于 libsacli 这个公共库编写的，SAcmd 与使用 libsacli 的 c++与 python 客户端，Safs 则是在客户端之上使用自己的文件系统。用户可以使用客户端和 SenseAgent 进行交互 可以通过命令行的形式直接调用 libsacli 中的文件传输函数。S装在训练机器上的，由于训练任务是可以集中化管理并能够远程署的机器中并没有相关的数据集的信息，需要自定义一个文件系定的目录上并将所需数据集的文件列表信息保存在自定的文件系时有文件系统像服务端层读取。SAcmd 可以远程控制 SAfuse 中数据集的文件名列表。在客户端层，SAclient 作为直接与服务端客户端，主要负责提供文件读写接口，生成元数据以及文件打包

【参考文献】：
期刊论文
[1]C++中STL技术的运用[J]. 崔庆红.  信息与电脑(理论版). 2009(10)

硕士论文
[1]基于关联规则的缓存系统设计与实现[D]. 陶志.华中科技大学 2018
[2]基于LVS集群的动态负载均衡算法研究[D]. 李杰.南昌航空大学 2018



本文编号：3337418