基于纠删码的容错存储系统中数据布局优化

发布时间：2021-07-14 02:14

　　大规模存储系统出错成为常态,纠删码技术广泛应用于存储系统中,以提供低存储开销的容错能力。然而,纠删码在存储系统中的数据布局,即块与存储设备之间的映射,与容错存储系统的可扩展性、可靠性、修复性能等指标有着紧密的关联。本文从数据布局的角度出发,在扩容（块的重新映射）算法设计、提高系统可靠性方案、高效故障修复策略三个方面展开研究。主要的研究内容与贡献如下:·提出基于部署Parity Declustering数据布局的磁盘阵列存储系统的高效扩容方案PDS（Parity Declustering Scaling）。PDS利用平衡不完全区组设计（Balanced Incomplete Block Design）定义数据迁移,实现了扩容所需数据迁移量最小,扩容后仍保持Parity Declustering数据布局,以及数据块与校验块的均匀分布。实验结果表明,PDS可有效缩短扩容时间和扩容过程中用户响应时间。·提出基于PDS数据迁移的提高磁盘阵列容错能力方案,以支持PDS扩容方案提高系统可靠性。PDS通过在条带中添加校验块来提高容错能力,并利用平衡不完全区组设计定义新加块在磁盘阵列中的放置,实现了提高... 

【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校

【文章页数】：102 页

【学位级别】：博士

【部分图文】：

图１．１全球每年数据增量（２０１８年后为预测值）ｌｓｌ??

系统的设计和管理趋于复杂，从而导致部件出错（如磁盘故障、网络连接失效和??软件崩溃）成为常态。例如，８３１１＾１１１〇〇１１１１）＾等［１７］研宄了?Ｆａｃｅｂｏｏｋ公司中一个具??有３?０００个节点的集群在一个月期间的节点失效事件（如图１．２所示），发现节点??失效每天都在发生，并且一天最多有近１１０个节点发生故障。??存储系统出错将造成巨大的经济损失以及社会负面效应。例如，２０１７年２月??２８日，ＡＷＳ的Ｓ３云存储服务因操作失误宕机四小时［１８］，导致ＧｉｔＨｕｂ、Ａｄｏｂｅ、??Ｑｕｏｒａ等无法正常提供服务造成的损失达１．５亿美元根据ＥＭＣ公司的??报告［２１］和丨２２］，在２０１８年，全球有４１％的组织遭受过计划外系统宕机，平均??每次宕机持续２０小时造成５２．６万美元的损失，２８％的组织遭受过数据丢失，平??均每次丢失２．１３?ＴＢ数据造成９９．５万美元的损失。而２０１８年我国２９％的组织经??历过宕机，平均代价８６．３万美元，２６％的组织经历过数据丢失，平均代价１２６．９??２??

相同的＆份数据，将份数据通过特定规则的运算生成份冗将这ｋ?ｗ份数据存储在不同的设备上。这＋?ｍ份数据中的都可以从任何其他Ａ份数据运算得出。由此可见，纠删码的存储ｆｃ?＋?ｍ）／ｋ〇??海量数据存储的背景下，大规模系统的存储成本受到越来越多多副本技术，纠删码可以在保证相同可靠性的前提下有效地降低此纠删码技术被广泛地应用于各大存储系统以及数据中心（例如丨１５］、Ｆａｃｅｂｏｏｋ?的?ｆ４［２８】）。??纠删码容错存储技术??．４．１纠删码的基本概念??便于理解全文，本小节将介绍纠删码的一些常用概念。图１．３给出的示意图，以便解释说明。基于此示例，下面将介绍纠删码是如何的，它是如何工作的，以及本文后续用到的一些概念。??Ｃ?＝?Ａ？Ｂ??


本文编号：3283198