基于Ceph的分布式存储系统跨机架修复技术优化

发布时间：2020-05-19 16:27

【摘要】：随着海量数据的产生,纠删码成为分布式存储系统青睐的容错方案。但是纠删码在重构丢失数据时,增加了磁盘I/O和网络资源的开销,修复时间长,修复效率低。另外,现在的分布式存储系统网络结构复杂,通常是以机架为单位组织节点,但是机架间带宽相比机架内的竞争较激烈,机架间带宽资源较稀缺,所以针对跨机架网络,分布式系统如何在故障发生时高效低开销地恢复不可用数据成为本文的研究重点,本文主要从数据源选择和数据传输两个方面对数据修复过程优化,主要工作如下:1)提出了一种基于网络延迟的数据源选择算法,该算法用于在修复丢失数据时选择数据源,每次选择足够的网络延迟较小的节点作为数据源来传输数据,减少数据修复时间。2)设计一个基于纠删码的分布式原型系统,该系统实现了基本的读写文件,心跳通信和纠删码容错等功能,验证了基于网络延迟的数据源选择算法的有效性,实现表明,该算法可以有效地减少数据修复时间。3)Ceph系统的数据修复过程的优化。在Ceph系统中运用分级解码算法对纠删码解码过程优化,该算法将修复操作拆分成多个部分解码操作,在不同的机架内数据并行传输,有效减少对跨机架网络的占用。实验表明分级解码算法可以有效地减少数据修复时间。基于网络延迟的数据源选择算法和分级解码算法是正交关系,这两个算法可以结合恢复数据,也可以单独使用。
【图文】：

恢复节点８７上时，Ｓ７上的网络带宽就成为系统的瓶颈［１７］，影响恢复的逡逑性能。文献［１８］中提出ＰＰＲ算法，将整个恢复过程拆分成多个操作并在逡逑多个节点上并行进行，从而减少恢复时间。如图１－２所示，为了修复Ｓ７逡逑上丢失的数据块Ｄ１，选中Ｓ２，邋Ｓ３和Ｓ４三个可用的节点传输数据，但是逡逑Ｓ２上的数据块传输给Ｓ３，Ｓ４上的数据块传输给Ｓ７，邋Ｓ３和Ｓ７分别对来自逡逑Ｓ２和Ｓ４的数据块与本地的聚合，然后Ｓ３将聚合后的结果传输给Ｓ７，逡逑最后Ｓ７对从Ｓ３收到的数据聚合恢复出不可用的数据块。这种方式能较逡逑好地解决恢复节点的瓶颈问题。文献［１９］中Ｘｉｅ等人提出了混合编码，逡逑对于频繁访问的文件使用快速编码实现更快地恢复，并使用紧凑代码为逡逑不常访问的文件获得更低的存储开销，但是也带来了编码之间的切换开逡逑销。逡逑／逦，逦Ａ．逡逑％、逦Ｓ２邋Ｉ邋ｓ

恢复节点８７上时，Ｓ７上的网络带宽就成为系统的瓶颈［１７］，影响恢复的逡逑性能。文献［１８］中提出ＰＰＲ算法，将整个恢复过程拆分成多个操作并在逡逑多个节点上并行进行，从而减少恢复时间。如图１－２所示，为了修复Ｓ７逡逑上丢失的数据块Ｄ１，选中Ｓ２，邋Ｓ３和Ｓ４三个可用的节点传输数据，但是逡逑Ｓ２上的数据块传输给Ｓ３，Ｓ４上的数据块传输给Ｓ７，邋Ｓ３和Ｓ７分别对来自逡逑Ｓ２和Ｓ４的数据块与本地的聚合，然后Ｓ３将聚合后的结果传输给Ｓ７，逡逑最后Ｓ７对从Ｓ３收到的数据聚合恢复出不可用的数据块。这种方式能较逡逑好地解决恢复节点的瓶颈问题。文献［１９］中Ｘｉｅ等人提出了混合编码，，逡逑对于频繁访问的文件使用快速编码实现更快地恢复，并使用紧凑代码为逡逑不常访问的文件获得更低的存储开销，但是也带来了编码之间的切换开逡逑销。逡逑／逦，逦Ａ．逡逑％、逦Ｓ２邋Ｉ邋ｓ
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 王甜甜;余春雷;;异构分布式存储系统中部分重复码的构造[J];信息通信;2019年01期

2 黄根华;钟声伟;;分布式存储系统在通信运营商云计算资源池的应用研究[J];通讯世界;2017年16期

3 蓝青;;云计算分布式存储系统典型运维问题的分析[J];通信与信息技术;2017年05期

4 王丹辉;;基于分布式存储系统的数据认证和安全保障研究[J];中国电子科学研究院学报;2015年06期

5 冯亮;;差异分布式存储系统资源调度的优化仿真[J];计算机仿真;2016年03期

6 董志强;;分布式存储系统文件级连续数据保护技术研究[J];通讯世界;2015年09期

7 梁坤荣;;分布式存储系统CEPH研究与试用[J];数码世界;2017年07期

8 龚利;史杨;;浅析分布式存储系统的研究及应用[J];网络安全技术与应用;2014年09期

9 徐小龙;邹勤文;杨庚;;分布式存储系统中数据副本管理机制[J];计算机技术与发展;2013年02期

10 冯浩;贾年;;面向海量无线电监测数据的分布式存储系统研究[J];成都工业学院学报;2015年02期

相关会议论文 前9条

1 赵辉;何连跃;;基于异构分布式存储系统的动态反馈负载均衡技术[A];第15届全国信息存储技术学术会议论文集[C];2008年

2 曲珊;张金钡;;非对称网络结构下的分布式存储系统编码研究[A];第十九届中国科协年会——分9“互联网+”：传统产业变革新动能论坛论文集[C];2017年

3 张曦;陈渝;王小鸽;张宝鹏;孙云峰;;PA-DCS:一种基于能耗感知的无线传感器网络分布式存储系统[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

4 徐琪;程耀东;陈刚;;新型EB级文件存储系统EOS的分析与测试[A];第十八届全国核电子学与核探测技术学术年会论文集[C];2016年

5 罗香玉;李传佑;汪芸;;纠删码容错组的布局策略研究[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

6 武腾;薛磊;郑东;柳晓光;;P2P持久存储系统可靠性分析与数据维护优化[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

7 周松;王意洁;;EXPyramid:一种灵活的基于阵列结构的高容错低修复成本编码方案[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

8 罗凌燕;李录兵;李化斌;宁莹;王俊青;吴秀杰;王登莲;梁馨娴;;虚拟化云平台在SCADA系统中的应用[A];绿色石化·创新集成·效能提升——第十一届宁夏青年科学家论坛石化专题论坛论文集[C];2015年

9 罗志明;张大华;王电钢;常健;;电力分布式云存储关键技术研究[A];2012年电力通信管理暨智能电网通信技术论坛论文集[C];2013年

相关重要报纸文章 前10条

1 记者 魏京华 通讯员 高U喴

本文编号：2671164