分布式存储系统中失效节点修复机制研究

发布时间：2020-08-22 17:16

【摘要】：当今时代,网络环境下产生的数据量不断飞速增长,分布式存储作为一种新兴的网络在线存储技术得到了越来越广泛的应用。由于设备软硬件故障,人为失误等因素而引起的节点失效问题已经成为一种普遍情况,为了保持系统的高可靠性,需要对失效节点进行及时修复,因此设计一个良好的失效节点修复机制是分布式存储系统需要面对的关键问题。分布式存储系统多通过冗余策略来保证数据的可靠性。传统的数据冗余策略主要有两种:复制策略和纠删码策略。复制策略易于实现和部署,但是节点存储开销很大,与复制策略相比,纠删码策略在确保系统可靠性的同时能有效降低节点的存储开销,提高存储效率。然而,纠删码策略在修复失效节点时需要传输整个原始文件大小的数据量,修复带宽开销过大。针对这两种冗余策略的不足,再生码策略引入网络编码的思想,在保证系统具有较低存储开销的同时,可以有效地降低节点的修复带宽开销,具有广阔的应用前景。本文主要研究了基于再生码的节点修复机制,主要工作如下:(1)由于分布式存储系统发生的节点失效多为单节点失效,因此设计一个良好的单节点修复机制对于分布式存储系统非常重要。针对传统的完全图MBR码在节点修复过程中磁盘读取开销过大,且需要在有限域上进行MDS编解码,计算复杂度较高的问题,本文提出了一种基于完全图MBR码的局部性修复编码方案,该方案将分布式存储系统中的节点划分为多个修复组,对原始文件进行分组存储,可以对系统中的单个失效节点完成精确修复。理论分析与仿真实验表明,与传统的完全图MBR码相比,本文方案大幅降低了节点修复过程中的磁盘读取开销,同时在具有相同节点数n和k值的情况下,进一步降低了节点存储开销和修复带宽开销。此外,本文方案在编解码时仅需要简单的异或运算,降低了编解码的计算复杂度。(2)在实际的分布式存储系统中,在设备稳定性差,环境复杂等情况下,失效节点常常不止一个。此外,很多分布式存储系统采取“延迟修复”的策略。本文进一步研究了针对多节点失效的修复机制。针对传统的MSCR编码方案在节点修复过程需要的传输信道数多,导致修复过程复杂,修复稳定性差的问题,本文提出了一种基于MSCR码的存活节点协作修复编码方案。理论分析表明,本文方案解决了MSCR编码方案修复过程中所需传输信道数高的问题,在保证与MSCR编码方案具有同样低的存储开销和修复带宽开销的同时,简化了修复过程,减少了节点修复的传输信道开销,降低了修复失败的几率,提高了修复的可靠性。
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP309.3;TP333

【相似文献】