基于Ceph的分布式存储在数据中心的设计与实现

发布时间：2020-10-27 05:28

　　 随着云计算、大数据、移动互联网技术的发展,数据量出现飞速增长,海量数据的存储成为目前研究的热点。传统集中式的存储方式在资源共享、数据迁移和动态扩展等方面无法满足当前业务发展需求,分布式存储技术的出现逐渐取代传统存储方案。本文以公司综合办公系统的应用为背景,分析了传统存储方案所面临的问题,探索存储系统在数据中心的应用,提出基于Ceph的分布式存储解决方案。针对数据中心应用需求设计了基于Ceph的分布式存储架构,实现了基于Ceph的对象存储、块存储和文件存储等系统在数据中心中的应用。最后对Ceph分布式存储性能进行测试和优化并对结果进行分析。本文主要从以下几点进行设计实现:(1)Ceph分布式存储架构设计,从高I/O、高容量等方面对存储架构进行设计,并对其性能验证测试;(2)网络结构设计,通过对网络结构的优化,来提升Ceph分布式存储性能和数据中心的网络安全;(3)Ceph分布式存储统一认证设计,当分布式存储为不同用户、不同业务提供资源共享时,对访问权限和访问资源进行权限控制;(4)Ceph分布式存储流量控制设计,对业务系统读写I/O速度进行限制,针对不同业务进行流量控制来提高分布式存储平台的稳定性;(5)Ceph块存储、文件存储以及容灾机制在数据中心的部署实现和应用。通过对上述关键技术进行设计优化,对存储性能进行测试分析,将其应用到数据中心。提高存储资源利用率的同时,降低了存储成本,满足高性能、大容量存储要求。
【学位单位】：兰州大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP333
【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景与意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 Ceph分布式存储发展现状
        1.2.1 国外发展现状
        1.2.2 国内发展现状
    1.3 本文主要研究内容
    1.4 论文组织结构
    1.5 本章小结
第二章 分布式存储系统理论及需求分析
    2.1 分布式存储系统概述
    2.2 分布式存储系统分类
        2.2.1 分布式文件系统
        2.2.2 分布式键值系统
        2.2.3 分布式表格系统
        2.2.4 分布式数据库
    2.3 开源分布式存储
        2.3.1 分布式文件系统HDFS
        2.3.2 分布式文件系统GlusterFS
        2.3.3 分布式块存储Sheepdog
        2.3.4 分布式文件系统MFS
    2.4 数据中心需求分析
    2.5 本章小结
第三章 Ceph分布式存储关键技术分析
    3.1 Ceph分布式存储系统分析
        3.1.1 Ceph系统分析
        3.1.2 Ceph组件分析
        3.1.3 映射分析
        3.1.4 容错性分析
        3.1.5 故障检测和恢复分析
    3.2 CephCRUSH算法分析
        3.2.1 分层集群映射（Clustermap）
        3.2.2 副本分布（ReplicaPlacement）
        3.2.3 冲突故障超载
        3.2.4 复制排名
        3.2.5 Map的变化和数据移动
    3.3 Ceph数据的一致性
    3.4 Ceph数据的持久性
    3.5 本章小结
第四章 数据中心Ceph分布式存储的设计与实现
    4.1 数据中心Ceph分布式存储设计
        4.1.1 总体架构设计
        4.1.2 统一存储规划设计
        4.1.3 数据中心网络设计
        4.1.4 数据中心统一认证设计
        4.1.5 数据中心流量控制设计
    4.2 数据中心Ceph分布式存储实现
        4.2.1 数据中心分布式存储部署实现
        4.2.2 数据中心分布式对象存储实现
        4.2.3 数据中心分布式块存储实现
        4.2.4 数据中心分布式文件存储实现
        4.2.5 数据中心分布式存储容灾机制
    4.3 数据中心Ceph分布式存储应用
    4.4 本章小结
第五章 Ceph分布式存储性能测试及结果分析
    5.1 数据中心测试环境搭建
        5.1.1 硬件环境配置
        5.1.2 软件环境配置
        5.1.3 网络环境配置
    5.2 数据中心Ceph分布式存储性能测试
        5.2.1 Ceph存储节点高可用性测试
        5.2.2 数据块对单台虚拟机在Ceph集群读写测试
        5.2.3 数据块对多台虚拟机在Ceph集群读写测试
        5.2.4 Ceph文件系统与传统文件系统读写性能比较
        5.2.5 Ceph存储网络性能测试
    5.3 数据中心测试结果分析
    5.4 本章小结
第六章 总结与展望
    6.1 总结
    6.2 展望
参考文献
在学期间研究成果
致谢

【相似文献】

相关期刊论文 前10条

1 周怡佳;;分布式存储技术在大数据时代中的应用[J];电子技术与软件工程;2018年03期

2 祁军;;分布式存储框架在统计分析中的应用[J];通讯世界;2017年03期

3 雷剑;;分布式存储浅析[J];通讯世界;2017年11期

4 戴云飞;石明;;分布式存储与计算在银行的实现与应用[J];中国信息化;2017年09期

5 朱健兵;;中小型银行分布式存储使用探析[J];金融科技时代;2017年11期

6 高菲;;数字图书馆分布式存储设计[J];软件导刊;2015年08期

7 王剑柯;;云计算环境下的分布式存储[J];中国新通信;2015年20期

8 王茱;;基于云计算的分布式存储技术研究[J];数码世界;2017年05期

9 邓科;;海量空间数据分布式存储管理系统的研究与实现[J];科学中国人;2017年11期

10 李磊;沈海斌;黄凯;严晓浪;Han Sangil;Ahmed A Jerraya;;分布式存储管理在多核设计中的高层建模[J];电子与信息学报;2008年11期

相关博士学位论文 前10条

1 魏青松;大规模分布式存储技术研究[D];电子科技大学;2004年

2 侯孟书;基于P2P的分布式存储及其相关技术研究[D];电子科技大学;2005年

3 周旭;面向Internet的大规模分布式存储技术研究[D];电子科技大学;2004年

4 王涛;基于对等结构的分布式存储技术研究[D];电子科技大学;2006年

5 罗四维;云计算环境分布式存储关键技术的研究[D];电子科技大学;2016年

6 吴思;容错分布式存储系统扩容机制研究[D];中国科学技术大学;2016年

7 胡燏翀;基于网络编码的分布式存储容错机制研究[D];中国科学技术大学;2010年

8 岳利群;基于分布式存储的虚拟地理环境关键技术研究[D];解放军信息工程大学;2011年

9 赵浩天;基于网络编码的分布式存储容错及扩容问题研究[D];中国科学技术大学;2013年

10 宋玮;分布式存储系统中的节点自主性问题研究[D];华南理工大学;2010年

相关硕士学位论文 前10条

1 罗远波;基于分布式存储的税务文书管理系统的设计与实现[D];电子科技大学;2018年

2 曾国庆;分布式存储中数据压缩研究与实现[D];电子科技大学;2018年

3 高志栋;基于Ceph的分布式存储在数据中心的设计与实现[D];兰州大学;2018年

4 于方萍;高考数据分布式存储优化的设计与实现[D];山东师范大学;2017年

5 雷栋梁;基于身份的分布式存储安全系统设计[D];华中科技大学;2016年

6 罗岚楠;基于三层体系结构的分布式存储访问系统技术研究[D];电子科技大学;2012年

7 张磊;大数据平台分布式存储资源自动部署研究[D];电子科技大学;2017年

8 邵泰华;基于分布式存储数据库的银行用户行为分析平台应用与研究[D];武汉轻工大学;2017年

9 杨楠;基于分布式存储与计算平台的用电量预测研究[D];华北电力大学;2015年

10 刘刚;分布式存储网络中的数据完整性校验与修复[D];上海交通大学;2012年

本文编号：2858112