SDFS分布式文件系统的研究与设计

发布时间：2020-10-31 06:39

　　随着信息技术的广泛应用，各种数据信息呈爆炸性的增长趋势。如何将数据信息进行有效地存储和管理已经变得越来越重要。同时它也对计算机存储系统在存储容量和存储访问速度等方面提出了越来越高的性能要求。传统的存储系统很难适应这种新的技术需求，而分布式存储系统技术则能比较好地解决这个问题，所以目前基于集群的分布式存储系统在计算机存储技术领域内已经成为主流存储平台。分布式文件系统是分布式存储系统中的关键技术，所以研究和设计能够进行高效存储的分布式文件系统具有重要的现实意义。本文对分布式文件系统中的数据布局算法、数据分片算法和存储节点设计进行了较深入的研究，论文作者所做主要研究工作和取得研究成果如下： 1、在认真分析和研究了现有分布式文件系统结构的基础上，提出了一种SDFS（SimpleDistributedFileSystem）分布式文件系统的原型结构。 2、研究了现有分布式文件系统的数据布局算法、数据分片算法和存储节点的布局方法，给出了SDFS分布式文件系统中的数据布局方法和数据分片算法，提出了SDFS分布式文件系统中元数据服务器的设计方法。 3、针对现有的分布式文件系统通常很难做到同时高效存储大小文件的问题，本文提出了一种新的二元存储节点布局方法。该布局方法的主要思想是在SDFS分布式文件系统中将存储节点划分为基于桶文件和key-value的两种类型。基于桶文件的存储节点存储大文件可以提供较高的文件访问吞吐量，而基于key-value的存储节点结构则能够比较好地处理小文件的存储访问，提供较低访问时延。本文对SDFS分布式文件系统进行了功能测试。并与PVFS1.6以及PVFS2.8并行文件系统进行了相关性能对比。实验证明SDFS分布式文件系统达到了设计要求，在大小文件的读写方面有较好的性能优势。
【学位单位】：华南理工大学
【学位级别】：硕士
【学位年份】：2013
【中图分类】：TP333
【部分图文】：

布局算法,算法,绪论

第一章绪论（一） R o u n d- R o b i n 布局算法 Ro u nd - Ro bi n 布局算法，由于其一致性分布，较低的计算复杂度，在众多分布式文件系统中广泛使用。标准 Ro un d- Ro b i n 布局算法可以描述如下：设数据集合中 xXi∈ 为集合中的第 i 个数据元素，存储节点空间 D 中的存储节点依次编号为 0 ，1 ， 2， .. . n ，则Ro u n d- Ro b i n 算法将 ix 映射到 i 模除 n 编号的存储节点上。在实际应用中一般取存储节点的子集进行上述映射。P V F S [2 ]就采用此种数据布局算法，如图 1- 1 所示。从图中可以看出，存储系统总共有 n = 5 台存储节点。此文件取编号为 {1 , 2,3}的存储节点子集按照Ro u nd - Ro b i n 算法进行映射。清华大学研究人员在 Ro un d - Ro bi n 布局算法基础上提出SL A S 算法 [5 ]，该算法在理论上较好的解决了节点的动态添加和删除问题。

布局算法,文件

图 1- 2 FA L L S = (0 ， 2 ，6 ， 2 ) 利用 PI TF A L L S 可以将一个文件按照 Ro u nd - Ro b i n 算法布局到 P 个存储节点。只调整 PI TF A L L S 集合参数就可以得到文件的不同物理布局。定义：inirs10 == U 和偏移量of f s e t ，代表一个待布局文件，其中 of f s e t 表示距离该文件起始的绝对数据块数。is 表一个 FA L L S ，代表划分之后的子文件。划分要求满足 ss( (i j))ijI = φ ≠，即任何子件之间没有重叠区域。以 ρ和 o ff s e t 作为划分参数，按 Ro un d - Ro bi n 算法将文件划分 n 个子文件，再按照 Ro un d - Ro bi n 方式布局到存储节点。图 1- 3 给出了该定义下数据局例子，其中 of f s e t = 1 ， ρ = （ 0 ， 1 ， - ， 1 ， 2 ， 3 ），文件块依次编号为 0~ 1 8 。从图可以看出，该方法在形成子文件和子文件布局时都采用了 Ro un d - Ro b i n 算法，但通过入元组划分思想，该布局算法比 Ro u n d - Ro b i n 更具灵活性。

SDFS分布式文件系统的研究与设计