Ceph异构存储优化机制研究

发布时间：2021-07-09 14:23

　　近几十年来,随着互联网、物联网和移动互联网等应用的不断更新和发展,造成数据呈现海量式的增长。在越来越大的数据量面前,传统的单点存储已经不能够满足新时代的需求。在新的大数据背景下,分布式存储方式是解决海量数据存储的有效解决方案。Ceph由于其支持多种存储服务,既提供文件存储服务,又提供对象存储和块存储服务,同时又能够较好地克服了单点故障问题且具有良好的扩展性,从而使其得到了广泛关注。然而,Ceph的多副本机制使其在读写性能方面并未充分发挥集群优势,同时,在异构存储结构下,现有的存储策略限制了Ceph存储集群的性能。为此,论文深入研究了Ceph的存储机制,并提出了相应的优化策略。具体研究工作如下:1.研究了Ceph异构存储优化机制。首先针对Ceph采用强一致性的写入策略导致整个集群写延迟较高的问题,提出一种基于副本弱一致性的写入策略。进一步地,为有效的利用从副本节点的I/O性能,提出了一种基于副本弱一致性的组合存储优化策略。并对Ceph原生策略与优化存储策略做了实验对比,结果表明,基于副本弱一致性的组合存储优化策略在写吞吐量、随机读吞吐量、顺序读吞吐量、SSD命中率以及降低写延迟方面都有了... 

【文章来源】：重庆邮电大学重庆市

【文章页数】：61 页

【学位级别】：硕士

【部分图文】：

Ceph逻辑架构图

电大学硕士学位论文 第 2 章 相4) APP 层也称客户端层，主要是对应用接口层提供的各个应用接口在不同用，例如基于对象存储网关开发对象存储的应用，基于 Ceph FS[38,39]开发基系统的存储应用等。RADOS（基础存储系统）ADOS 是 Ceph 的底层核心[40]，Ceph 的所有存储能力都是以 RADOS 作为41]。RADOS 本身就是一个能够自我修复的自动、可靠、智能的对象存储系2 所示，RADOS 主要由具有系统状态监测和维护功能的 Monitor 和存储(Object Store Device)这两种节点组成[42]。

但是当集群中 OSD 添加或删除后会引起不相关数据的迁移，Sage 针对 straw算法的这个不足之处，提出了修正后的 straw2 算法。表 2.1 CRUSH 四种基本选择算法对比算法类型 unique list tree straw时间复杂度 O(1) O(N) O(log(N)) O(N)添加元素 差 最好 好 最好删除元素 差 差 好 最好2.3 分层集群映射 Cluster MapCluster Map 是 Ceph 集群拓扑结构的逻辑描述形式，主要有设备 device 和桶 bucket组成。

【参考文献】：
期刊论文
[1]基于软件定义网络和多属性决策的Ceph存储系统节点选择方法[J]. 王勇,叶苗,何倩,郇宜鸣,康文杰.  计算机学报. 2019(02)
[2]基于Ceph的云网盘系统设计与实现[J]. 胡勋,杨靖琦.  信息系统工程. 2018(06)
[3]基于Ceph的OpenStack存储克隆链[J]. 彭潇,张俊,印钊.  计算机与现代化. 2017(09)
[4]Ceph文件系统的对象异构副本技术研究与实现[J]. 詹玲,朱承浩,万继光.  小型微型计算机系统. 2017(09)
[5]异构存储感知的Ceph存储系统数据放置方法[J]. 刘飞,蒋德钧,张欢,陈静,王筠,熊劲.  计算机科学. 2017(06)
[6]一种隐私保护的可逆布鲁姆过滤器[J]. 谢鲲,施文.  计算机工程与科学. 2017(06)
[7]浅谈Ceph的设计原理[J]. 陈豪钧.  信息通信. 2017(04)
[8]HDFS异构集群中的分级存储调度机制[J]. 杨冬菊,李青,邓崇彬.  小型微型计算机系统. 2017(01)
[9]一种跨HDFS集群的文件资源调度机制[J]. 胡博,陈桓,张良杰,牟建伟,戴广立,马于涛.  计算机学报. 2017(09)
[10]OpenStack平台与Ceph统一存储的集成[J]. 王建宇.  中国管理信息化. 2016(04)

硕士论文
[1]基于Ceph分布式存储系统副本一致性研究[D]. 刘鑫伟.华中科技大学 2016
[2]基于对象存储的Ceph分布式文件系统的研究[D]. 刘莎.杭州电子科技大学 2016
[3]混合存储系统中自适应存储策略的研究[D]. 聂凤.华中科技大学 2013



本文编号：3273912