基于DFS的构建服务器集群技术的研究与实现

发布时间：2023-03-19 18:27

　　我们当前所处的时代是一个信息大爆炸的时代,由于信息技术的发展,特别是互联网的出现,产生并要处理的数据已经达到了PB(1PB=1024TB)级、EB(1EB=1024PB)级、甚至更多,这种级别的数据我们称之为海量级别的数据,随之而来的问题就是如何对这些海量数据进行存储,以及如何保证海量数据的高可用性。虽然这些问题在以前都已经有比较成熟的解决方案,但是当数据达到海量的级别后,以前的方法无力应对这一变化,所以我们必须研究新的方法来解决这些问题。数据到达海量级别以后,以上问题唯一可行的解决办法就是使用分布式文件系统构建服务器集群,利用分布式服务器集群技术来解决由海量数据所带来的一系列问题。 本文首先对各种主流的分布式文件系统进行研究,在分析了各种主流的分布式文件系统的架构、优缺点及适用性之后,选取一款适合的分布式文件系统来搭建分布式服务器集群。本文研究了基于此分布式文件系统的分布式服务器集群搭建技术,采用Linux操作系统和Xen虚拟机软件搭建整个集群。在上述研究工作的基础上,实现了服务器集群的成功部署。 在分布式文件系统中,文件存储分配的负载均衡算法是非常重要的一个部分,为了优化系统,提高...

【文章页数】：69 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 国外研究现状
        1.2.2 国内研究现状
    1.3 研究目标和研究内容
        1.3.1 研究目标
        1.3.2 研究内容
    1.4 技术路线
    1.5 预期成果
    1.6 本文组织结构
第2章 DFS 和服务器集群研究
    2.1 分布式文件系统
    2.2 分布式文件系统介绍
        2.2.1 谷歌分布式文件系统
        2.2.2 开源分布式文件系统Hadoop
        2.2.3 国产分布式文件系统FastDFS
        2.2.4 Lustre 系统
        2.2.5 GlusterFS 系统
        2.2.6 MogileFS 系统
        2.2.7 MooseFS 系统
        2.2.8 淘宝分布式文件系统
    2.3 服务器集群研究
        2.3.1 科学计算集群
        2.3.2 负载均衡集群
        2.3.3 高可用性集群
第3章 实验集群的架构及应用软件
    3.1 HOST 主机操作系统
    3.2 XEN 虚拟机的配置
    3.3 虚拟操作系统的安装
    3.4 虚拟操作系统的管理
    3.5 时间同步
    3.6 实验集群系统架构
第4章 DFS 集群的构建
    4.1 DFS 的选取
    4.2 MooseFS 的构建
        4.2.1 需要的软件
        4.2.2 元数据服务器的安装配置
        4.2.3 备份服务器的安装配置
        4.2.4 数据存储服务器的安装配置
        4.2.5 客户端服务器的安装配置
第5章 MooseFS 集群的应用
    5.1 文件系统的挂载
    5.2 MooseFS 的设定文件冗余数
    5.3 MooseFS 垃圾箱隔离时间的设置
    5.4 快照及其他
    5.5 chunkserver 选择算法的改进
第6章 测试
    6.1 MooseFS 文件系统性能测试
    6.2 MooseFS 文件系统功能测试
    6.3 对改进负载均衡算法的测试
    6.4 算法改进前后结果分析
结论
致谢
参考文献
攻读学位期间取得学术成果



本文编号：3765733