面向互联网的多型文件融合存储系统

发布时间：2021-09-18 08:26

　　随着互联网技术的发展,各种新兴的创新型应用不断涌现,爆炸式增长的不同类型的各种信息对数据存储提出新的要求。由于网络应用类型的丰富性,其所产生的文件类型和文件数量都远远超过了传统的通用文件系统所能支持的范围。为了应对不断发展的网络应用所提出的存储需求,面向互联网的存储系统需要具有如下几个特点：首先是要能够处理海量文件；其次要能够支持多种类型的文件的存储,如从几KB的文本文件到几GB的视频文件；然后要具有极高的性能,能够支持大量的并发访问。针对以上这些问题,本文设计和实现了一种面向互联网环境的,支持海量数据的,对多种类型文件提供融合存储的分布式文件系统——FDFS （Fusion Distributed File System）。它借鉴了已有的分布式文件系统的设计经验,打破了常规的分布式文件系统只能存储海量小文件或者只设计用于存储大数据集文件的壁垒,将海量的不同规模、不同类型的文件存储在同一个系统中,大大提高了物理空间的利用率、降低了服务器集群管理的复杂度、同时为全局范围内的负载均衡和存储空间分配提供了更加精确的支持。本文着重阐述了FDFS系统的体系架构设计以及系统设计中核心问题的实现策略... 

【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校

【文章页数】：95 页

【学位级别】：硕士

【部分图文】：

Master/Slave结构

Lustre名字空间的修改采用了锁方案，当客户端修改修改一个文件时，需要在MDS上请求一个锁，这样就可以避免一个文件同时被多个客户端修改所带来的不一致性。Lustre的名字空间管理采用如图2一2所示的结构。阴〕S‘巨出劝口侧护.自自翻g侧饱怕山白毛叭犯七俐幻刀自孽曹O切eds匕.醉S曰，日写长巧S)055目匕旧醉...叹翔州g匕旧醉毛.华七心仪刃.勺d时dJ幼曰曰M目匕加白5.，日‘洲陇】.一1田S卜即目目口侧荞en目众吕七口口峨叮，..一︶二咧﹄一鲁鲁鲁︸﹄切1-包卜答鲁.、、卜二~.图2一 2Lustre名字空间管理模型类似于Lustre文件系统， GFs(GoogleFileSystem)〔村〕也采用了单一的元数据服务器(Master)来管理系统中的名字空间。在GFS中，Master维护系统所13

GFS没有与每个目录相关的数据结构(如inode等)，也不支持别名，GFS的名字空间仅仅是一个从路径名到文件元数据之间的一个映射表。GFS的名字空间管理采用如图2一3的结构。SerVerS囤囤一一}_」﹁日川一-图回画一Cl，t一 rlkserVerIC卜 unkserver2ChUn伙se!VerN图2一 3GFS的名字空间管理结构2.4数据一致性数据一致性〔”〕是指不同客户端在访问分布式文件系统时，在同一时刻应该看到相同的内容。按照本地文件系统的POSIx语义，如果一个进程修改了某个文件或者目录的内容或者属性，其他进程应该能够立即察觉到这种变化。但是在分布式环境下，要严格实现POS工X语义将会造成巨大的性能损失，因此分布式文件系统一般采取相对宽松的一致性语义。在 NFs(NetworkFilesystem)系统中，客户端会缓存文件以及目录的元信息

【参考文献】：
期刊论文
[1]蓝鲸分布式文件系统的分布式分层资源管理模型[J]. 黄华,张建刚,许鲁.  计算机研究与发展. 2005(06)
[2]分布式文件系统中的负载平衡技术[J]. 田颖,许鲁.  计算机工程. 2003(19)



本文编号：3399815