基于分布式并行文件系统HDFS的副本管理模型

发布时间：2024-03-05 00:17

　　分布式并行文件系统和副本的管理策略是目前比较热门的研究内容,近年来,美国、加拿大、澳大利亚等很多国家的一些大学和科研小组都在进行并行文件系统的研究,研制出一批各具特色的并行文件系统模型;一些计算机厂家也开发出一批专用并行文件系统,这些系统多为运行在UNIX操作系统的网络工作站或专用并行机上运行,包括商用并行文件系统、用于研究的并行文件系统以及公开源代码的并行文件系统。还有为运行Linux操作系统的机群设计的,HDFS作为一种新兴的并行文件系统,它既有通用并行文件的特点,同时又有自己不同的需求和设计目标,它支持海量的大文件存储,文件大小一般都以GB为单位,有效地支持跑在其上的应用程序批处理和具有高吞吐量的作业。 副本的管理策略研究是分布是并行文件系统中的热门研究内容,本文提出了基于HDFS的动态副本管理模型,包括副本放置策略、动态副本创建策略和动态副本删除策略,这些策略动态的对HDFS中的副本进行管理,优化了系统的性能。

【文章页数】：57 页

【学位级别】：硕士

【部分图文】：

图4.1动态副本管理模型

图4.1动态副本管理模型4.3副本管理技术的基本概念本节基于分布式文件系统领域，给出HDFS动态副本管理的基本概念。定义4.1.数据块数据块是HDFS中数据存储的基本单位，保存在HDFS中的文件除了最后一个数块外，其他的被默认的分为64M大小的数据块，这....

本文编号：3919387