Turtle：一种基于局域网络的分布式存储系统

发布时间：2020-07-26 11:40

【摘要】： 随着计算机网络的不断增长,计算机应用已经深入到了各行各业中,人们对于在线存储的需求也越来越多。结果是越来越多的企业存在着持续的存储压力. 若干年来,市场见证了技术的不断创新,从更快的外设通道,到存储区域网络(SAN),最后到专门定制的软硬件存储系统。但是高昂设备费用让许多中小公司望而却步。即使对于一些大公司来说也是一笔不小的费用。近几年,磁盘存储技术有了重大突破。在2006年下半年,160G的硬盘开始在普及,现在这一数字还在不断的提升。然而已有的测试表明,在许多组织中,个人电脑的本地磁盘大概能使用4-10G左右的空间,主要是操作系统文件,应用程序及一些临时文件。为了能够利用起这些闲散的磁盘空间,本文提出了一种无服务器的分布式文件系统Turtle。为了方便用户的使用,Turtle系统架构向用户提供文件系统接口,同时通过数据分块和副本冗余控制的方式来提高系统的磁盘空间利用率和可靠性。Turtle系统并不打算取代主流的存储服务系统。Turtle系统只想给用户提供一种选择,一种不需要成本的选择。Turtle不保证性能方面的出众,但是Turtle保证可靠性,即存入数据的完整性。本文详细描述了Turtle系统的设计与实现过程,主要包括Turtle的应用环境,体系结构的选择,名字空间案管理,文件组织形式,数据分发策略以及文件系统接口的设计与实现。最后用实验数据说明了系统的可靠性
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2008
【分类号】：TP333
【图文】：

二维分布模型,文件分片

图 2 二维分布模型图 2 中保存文件分片 Fi的第 j 个节点记为jiH 。假设节点jiH 不可用的概率为jiP复文件分片 Fi，保存文件分片 Fi的节点集中至少有一个节点可用。根据定义析，文件分片 Fi不可得的概率为：1 2( ) ( ... )iRi i i iP A = P C × C × ×C存储节点之间相互独立，所以：1( )iRji ijP A p== ∏由于 ( ) 1 ( )iP A = P A，文件分片 Fi可得的概率为：1( ) 1iRji ijP A p== ∏要得到文件，必须获得该文件每个分片的至少一个副本，因此，可得存储可

分布方式,文件分片,节点,间带

图 3 分片相关的分布方式3 3 61 2 1 2( A ∩A ) ≠ P ( A ) × P ( A )= p × p =p片 F1不可得的情况先下，F2不可得的概率为条件概率41 2131( )| )( )P A A pA pP Ap= = =∩分析可以发现，将同一文件的不同分片分布在同一存间带来相关性，我们将按以下方法分析这种具有分片布模型为 m 份，记为 F={F1，F2，…，Fm}，文件分片 F1的 Fi保存到 Ri 个节点上，但是每个节点不只保存一个文。假设存储节点 H保存 L个文件分片，记为 T={F，

模型图,多维分布,模型,闭包

图 4 多维分布模型了方便计算多维分布模型的性能指标，提出如下定义：复包：可以恢复文件的节点集合。就是说，当这些节点可用时，文以恢复(显然，全部节点的集合就是一个恢复包)。复闭合包操作：如果在恢复包中删除某个节点，剩下的节点集合仍，那么，就称这一删除操作为恢复闭包操作。复闭包：不能够再进行闭包操作的恢复包，称之为恢复闭包。可恢复包：文件不可恢复的节点集合。就是说，当这些节点不可用节点都可用的情况下，文件一定不可能恢复。可恢复闭包操作：如果在不可恢复包中删除某个节点，剩下的节点不可恢复包，那么，就称这一删除操作为不可恢复闭合操作。可恢复闭包：不能够再进行不可恢复闭包操作的不可恢复包，称之闭包。

【相似文献】