基于云存储服务的文件系统设计与实现

发布时间：2019-08-10 08:01

【摘要】：随着信息技术在不同行业和领域的应用与发展,许多机构、组织都积累了越来越多的行业数据。面对这些随行业发展而激增的数据,人们对数据的计算、存储需求也呈现出越来越大的增长趋势。云计算的概念应运而生。在众多组织机构的参与研究和商业化推进过程中,云计算得到了巨大的发展,但同时也出现了一些重复建设、重复投入的问题。不同行业领域都大规模的建设云计算数据中心。云计算平台概念的提出最初是为了整合所有可用资源,即把闲置的硬件设备和计算资源通过软件的方式整合在一起作为资源输出,而不是造成资源的铺张和浪费。目前有许多企业或组织都开放了云计算的资源,但这些资源的使用是需要付费的。虽然有部分产品提供了免费资源策略,但其对云存储资源的容量或者使用均设置有一定的限制。本文通过对文件系统基础架构知识的学习,在吸取已有分布式文件系统、云文件系统研究经验的基础上,探索如何在尽可能减少本地硬件资源投入的前提下建设云存储平台,充分地使用开放的云存储资源并达到较好的性能表现。提出了一种将底层数据存储在云端存储服务中的文件系统设计方案,并最终具体实现了该文件系统。该文件系统对本地硬件存储设备的投入要求较低,通常只需要一台服务器。具有良好的云端存储服务资源的接入和管理性能,同时对用户提供了友好的操作界面。本文的主要研究工作和取得的成果如下三个部分： (1)系统设计。在研究传统文件系统的架构及设计思想的基础上,分析相关云文件系统的设计思想和方案,提出一种将低层数据存储在云端的文件系统设计方案。 (2)系统实现。实现了文件系统的整体架构及基本文件操作功能模块。通过元数据与数据块分离管理设计,以及元数据的管理设计,实现了不同用户终端与云端数据的同步功能。 (3)系统优化。通过对文件类型的区分存储,提升文件系统的读写性能表现。通过对文件系统uid预取技术的设计与实现,实现文件系统的数据检索和接入优化,提升数据的接入速度,从而提升系统读写性能。文件系统的整体性能表现和两项性能优化表现均在实验测试当中进行了定性和定量的比照实验。通过实验数据清晰的反映了文件系统的整体性能与设计预期相一致。优化设计提升了文件系统的读写性能。
【图文】：

数据分布,抽象层,整体设计,存储服务

图3-4:存储抽象层整体设计示意.4.1数据分布存储由于不同文件的数据量差异很大，且不同云存储服务对文件的存储传输速率小不一，甚至对传输文件的大小会有所限制。因此，系统中的文件在存储时需做拆分处理，并将拆分后的数据块分别存放在云存储服务中。为拆分后的每个数据块标上序号组成新的标识id (file—id:chunk—id)。同时据文件标识id获取其低27位随机数（Random—id)，，并将此随机数对逻辑存储块大小（LStore_size)取余，算出chunk—id为0的数据块应存储在第几个邮件存储服务中。PStore_location_id = Random—id % LStore—size以此为发送起点，将切分后的数据块按照chunk—id顺序循环发送至各个邮件存储服务中。取回过程类似，通过文件标识id计算出存储chunk一id为0的邮件存储服务

预取技术,邮件服务,标号,邮箱

第四章文件系统的实现与关键技术块数量。如果imap—num中Num的值小于邮箱中的标号则步至本地记录在imap_data表中，同时更新imap—num中Nu箱中的标号，则检查数据传输队列是否还有任务在执行，待如果仍然大于邮箱中的标号，则以邮箱标号为准更新本地数验机制。
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333

【参考文献】