面向小文件的分布式文件存储管理系统的设计与实现

发布时间：2024-02-07 03:10

　　进入21世纪,随着移动通讯网络环境的不断完善以及智能手机的迅速普及,移动互联网迅猛崛起。移动互联网每天产生海量的文本、图片、音视频等小容量文件,而当前以GFS和HDFS为代表的分布式文件存储系统主要针对大文件存储进行设计,缺乏对小文件存储管理的针对性优化,因此在存储小文件时存在元数据服务器容量受限、系统访问效率低下以及存储资源利用率不高等问题。此外,当前分布式文件系统中大多采用的周期性动态反馈负载均衡算法存在一定缺陷。在该算法中,存储节点周期性的向调度节点反馈负载信息,但反馈周期的长度难以确定。反馈周期过短,会造成额外的网络开销,增大网络负载;反馈周期过长,调度节点获取负载信息的实时性降低。为此,本论文提出了一种新的可用于分布式文件系统的负载均衡算法;并设计实现了一个面向小文件的分布式文件存储管理系统,该系统基于FastDFS实现底层存储,结合Elasticsearch的强大检索功能实现文件的多维度搜索。本论文的主要工作:(1)为解决当前分布式文件系统中负载均衡算法存在的问题,提出一种新的基于QoS的自适应动态反馈负载均衡算法——QoS-ADFLB算法。(2)以FastDFS作为底层存...

【文章页数】：99 页

【学位级别】：硕士

【部分图文】：

图２－１分布式文件系统架构图??分布式文件系统大都采用Ｍ／Ｓ架构，如图２－１所示

Ｉ??图２－１分布式文件系统架构图??分布式文件系统大都采用Ｍ／Ｓ架构，如图２－１所示。分布式文件系统一般由控制服??务器、存储服务器和客户端三部分［１８］构成。控制服务器主要负责整个分布式文件系统??９??

图２－２?ＧＦＳ系统架构图??ＧＦＳ将文件分割为若干数据块（Ｃｈｕｎｋ），每个数据块的大小是固定的，一般为６４ＭＢ

担并恢复那些失效的组件；针对大文件存储进行设计，保证多用户并发操作时数据追加??的原子性。??ＧＦＳ的系统架构如图２－２所示。ＧＦＳ集群由三个角色构成，分别为控制节点（Ｍａｓｔｅｒ）、??数据块节点（Ｃｈｕｎｋ?Ｓｅｒｖｅｒ）以及客户端（Ｃｌｉｅｎｔ）。控制节点负责存储管理文件元....

图２－３?ＨＤＦＳ系统架构图??在ＨＤＦＳ中，ＮａｍｅＮｏｄｅ节点是中心服务器，其不存储原文件数据

ＨＤＦＳ是Ａｐａｃｈｅ软件基金会根据ＧＦＳ的论文概念模型进行设计实现的开源分布式??文件系统，用于作为Ｈａｄｏｏｐ［１９］的存储系统。ＨＤＦＳ作为ＧＦＳ的一个最重要的实现，??ＨＤＦＳ与ＧＦＳ的设计目标高度一致。ＨＤＦＳ架构如图２－３所示，系统整体由ＮａｍｅＮｏｄｅ??节点、Ｄａ....

图２－６文件下载过程??下载文件时，Ｃｌｉｅｎｔ将下载请求发送至Ｔｒａｃｋｅｒ，?＿Ｆ载请求中包含文件标识符

Ｉ?Ｉ??Ｉ?Ｉ??图２－５文件上传过程??上传文件吋，Ｃｌｉｅｎｔ将上传请求发送至Ｔｒａｃｋｅｒ，Ｔｒａｃｋｅｒ通过查询各Ｓｔｏｒａｇｅ?Ｓｅｒｖｅｒ??的状态信息并根据一定的负载均衡策略选取可用的存储服务器，然后将相应信息返回给??Ｃｌｉｅｎｔ。Ｃｌｉｅｎｔ收到信息后直接与相....

本文编号：3896659