【摘要】：分布式存储系统广泛部署于数据中心中,为网络搜索、电子商务以及社交网络等大规模互联网应用提供基础数据存储服务。这些分布式存储系统通常由成千上万的存储节点构成。在规模如此庞大的系统中,节点故障极为常见,其处理流程更是作为规范存在而非例外执行。节点故障会导致其上存放的数据失效,甚至丢失。因此,主流的分布式存储系统通常采用数据冗余技术进行容错。当节点故障发生后,冗余数据被用以修复丢失数据并响应请求。此修复与响应过程不但关乎到系统可靠性与可用性的维持,而且还将影响到系统服务能力,因而有着重要的的研究意义与极高的应用价值。本文围绕上述修复与响应过程中的数据失效确认机制与失效数据响应流程展开研究,主要研究内容与贡献如下:针对现有数据失效确认机制中数据失效确认依赖节点失效确认的问题,提出了一种新型的风险感知的数据失效确认策略(RAFI)。RAFI使用条带中失效数据块的个数评估条带的可靠性风险,通过缩短高风险条带中数据块的失效确认时间以提高数据可靠性与可用性,并通过延长低风险条带中数据块的失效确认时间以降低数据恢复流量。通过理论分析、仿真实验与构建原型验证了RAFI的正确性与有效性。实验结果表明,RAFI能够同时地大幅提升现有分布式存储系统的可靠性、可用性与服务能力。例如,在一个1000节点的RS(6,3)编码的存储集群中,相对于传统的数据失效确认策略,在最好的情况下,RAFI能够在提升11倍可靠性并降低45%的不可用时间的同时,减少28%的修复网络流量。针对现有数据失效确认机制中使用固定时间间隔检测数据失效的问题,提出了一种新型的使用动态时间间隔检测数据失效的策略(ACI)。当检测到失效数据块后,ACI将使用较短的时间间隔,以期快速发现高风险条带,从而提升数据可靠性;否则,将采用较长的时间间隔,以控制管理节点承担的失效检测计算总量,从而提升系统的服务能力。基于仿真及原型系统的实验结果显示,在一个1000个节点的三副本系统中,在最好的情况下,ACI在RAFI的基础上可以进一步提高3.2倍的可靠性,同时将管理节点上检测任务占用CPU时间的增长量控制在18%。针对纠删码集群中降级读高延迟问题,提出了一种新型的并行数据重构方法(DRPR)。DRPR使用低负载节点作为降级读发起者,以提升接收降级读最终数据的网络带宽,并通过发掘降级读中的潜在并行性,选取更多的节点提供降级读所需的初始数据,以提升发送降级读初始数据的网络带宽,从而降低降级读延迟。原型实验表明,在大多数情况下,DRPR下的降级读延迟比现有的最优方案低10%以上。
【学位授予单位】：华中科技大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP333
【参考文献】
相关期刊论文 前7条
1 李佳;陈海涛;芦伟;;基于纠删码的云文件系统数据放置方法[J];北京信息科技大学学报(自然科学版);2014年06期
2 黄建忠;梁先海;曹强;谢长生;;面向纠删码存储集群的弹性I/O调度机制研究[J];计算机研究与发展;2014年S1期
3 葛君伟;陈志林;方义秋;;一种基于纠删码的数据放置容错算法[J];计算机应用研究;2014年09期
4 杜芸芸;;一种面向纠删码技术的云存储可靠性机制[J];计算机应用与软件;2014年02期
5 罗象宏;舒继武;;存储系统中的纠删码研究综述[J];计算机研究与发展;2012年01期
6 姜泽雄;谢军;孙程;;基于XOR纠删码的性能分析[J];中国集成电路;2009年09期
7 慕建君,路成业,王新梅;关于纠删码的研究与进展[J];电子与信息学报;2002年09期
相关博士学位论文 前6条
1 吴思;容错分布式存储系统扩容机制研究[D];中国科学技术大学;2016年
2 张菁;大规模分布式纠删码存储系统中的高效数据传输技术研究[D];国防科学技术大学;2015年
3 杨志勇;基于容错及检错的云存储可靠性技术研究[D];武汉理工大学;2015年
4 殷超;提高存储系统服务质量的纠删码应用技术研究[D];华中科技大学;2014年
5 朱云锋;分布式存储系统中基于纠删码的容错技术研究[D];中国科学技术大学;2014年
6 蒋海波;海量数据存储系统的高可靠性关键技术研究与应用[D];电子科技大学;2013年
相关硕士学位论文 前3条
1 许方亮;分布式存储系统中纠删码的数据修复技术研究[D];国防科学技术大学;2013年
2 陈宝纯;基于纠删码与HDFS的云文件系统[D];吉林大学;2012年
3 张峰豪;纠删码集群存储的数据访问优化技术研究[D];华中科技大学;2013年
本文编号：
2782766
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2782766.html
