大数据计算与存储分离技术实验分析

发布时间：2023-05-07 17:05

　　随着大数据的发展,传统的集群混合部署模式逐渐暴露出管理难、资源竞争、性能相互制约等问题。计算与存储分离部署方案不断发展,开始呈现其优势,但是在解决计算与存储资源弹性扩展、高容错和高可靠问题上,且具备兼顾虚拟机和容器两种部署方式的能力要求上,目前的方案都相形见绌。基于此,提出并实现了一种基于Ceph的大数据平台分离存储方案,解耦了计算与存储之间的绑定关系,同时实现了资源的弹性利用,并兼容了虚拟机和容器的两种大数据部署方式。最后我们搭建了试验环境对方案的功能及性能进行了测试,对上述能力进行了验证。

【文章页数】：5 页

【文章目录】：
1 引言
2 Hadoop计算与存储分离
    2.1 Hadoop计算与存储分离概述
    2.2 现有技术方案
        2.2.1 Hadoop与HDFS分离部署方案
        2.2.2 Hadoop与S3A分离部署方案
        2.2.3 Hadoop Provided Storage分离部署方案
3 基于Ceph的Hadoop分离存储方案
4 实验与分析
    4.1 功能测试
    4.2 性能测试
5 结束语



本文编号：3810977