异构存储系统中的节点失效并行化修复研究

发布时间：2017-06-13 08:01

  本文关键词：异构存储系统中的节点失效并行化修复研究，，由笔耕文化传播整理发布。

【摘要】：随着大数据时代的到来,爆炸式增长的海量数据迫切需要有效的存储和管理。大规模分布式存储技术的飞跃式发展势不可挡。人们对存储系统的要求也更为广泛,譬如存储容量、I/O性能、数据安全、系统可扩展性、系统可靠性等问题。在数据即是一切的年代,数据的错误与丢失对于用户来说是极为致命的。鉴于故障发生的普遍性,目前分布式存储系统主要采用存储冗余数据的策略保证数据的可靠性。在系统发生故障时,能够快速有效的修复出错误数据,对维持系统的可靠性来说是至关重要的。 以下是本文的主要工作。 1.分布式存储研究平台的设计与实现。分布式存储研究平台是一个为了深入研发分布式存储技术的实验平台。首先,它是一个分布式存储系统,支持多种编码方式,提供最基本的文件操作功能；其次,为了维持系统可靠性,它包含数据修复接口,提供多种磁盘修复功能；再者,它能够进行重复数据删除,保证磁盘有效的空间利用率；最后,它提供磁盘扩容接口,保证系统的可扩展性。本文主要介绍分布式存储研究平台的基本概况,阐述其设计原理与基本功能以及实现方法,为分布式存储系统的研究提供了一个简单实用实验环境。 2.基于RAID6码存储系统的并行化异构修复问题的研究。结合分布式存储系统的异构性和并行性,设计一种三阶段的流水线式并行化修复策略,并提出一种最小修复时间的并行化异构修复算法,通过数字模拟实验以及实际分布式存储系统的实验测试证明算法的可行性与有效性。本文详细地介绍了并行化异构修复算法,包括研究背景,模型的建立与推导过程,具体实现过程,性能分析,以及相关的实验证明。并行化异构修复算法着力于系统的并行性与异构性,为分布式存储系统的错误修复提出了一种新的优化策略,并促进了系统数据的可靠性的提高。
【关键词】：分布式存储 错误修复 异构 并行化 流水线
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-8
• 目录8-11
• 第1章 绪论11-17
• 本章摘要11
• 1.1 分布式存储系统11-13
• 1.1.1 海量数据11-12
• 1.1.2 分布式存储系统12-13
• 1.2 分布式存储系统容错机制13-15
• 1.2.1 复制13
• 1.2.2 纠删码13-14
• 1.2.3 典型的分布式存储系统的容错措施14-15
• 1.3 本文的主要研究内容与贡献15-16
• 1.4 本文组织16-17
• 第2章 编码存储系统概述17-31
• 本章摘要17
• 2.1 RAID技术17-23
• 2.1.1 RAID概述17-19
• 2.1.2 RAID分类19-23
• 2.2 纠删码技术23-25
• 2.2.1 纠删码简介24
• 2.2.2 纠删码分类24-25
• 2.3 编码存储系统的错误修复25-29
• 2.3.1 RDP码25-26
• 2.3.2 故障修复26-29
• 2.4 本章小结29-31
• 第3章 分布式存储研究平台设计与实现31-49
• 本章摘要31
• 3.1 系统简介31-32
• 3.2 系统总体设计与功能32-35
• 3.2.1 系统总体设计32-33
• 3.2.2 系统功能33-35
• 3.3 系统详细设计与实现35-47
• 3.3.1 系统前台设计35-40
• 3.3.2 系统后台设计40-42
• 3.3.3 前后台通信42
• 3.3.4 前台实现42-47
• 3.4 本章小结47-49
• 第4章 并行异构单节点错误修复49-67
• 本章摘要49
• 4.1 问题描述49-50
• 4.2 模型建立50-55
• 4.2.1 RDP编码过程50-52
• 4.2.2 单节点错误的修复过程52-53
• 4.2.3 三阶段流水线修复策略53-54
• 4.2.4 并行异构修复算法模型的推导54-55
• 4.3 并行异构修复算法55-57
• 4.4 算法性能评估57-60
• 4.4.1 可行性58
• 4.4.2 稳定性58-59
• 4.4.3 有效性59-60
• 4.5 实验60-65
• 4.5.1 实验环境与设置60-61
• 4.5.2 实验内容61-65
• 4.6 本章小结65-67
• 第5章 结论67-69
• 本章摘要67
• 5.1 本文总结67
• 5.2 未来工作展望67-69
• 参考文献69-73
• 致谢73-75
• 在读期间发表的学术论文与取得的其他研究成果75

【参考文献】

中国期刊全文数据库 前1条

1 罗象宏;舒继武;;存储系统中的纠删码研究综述[J];计算机研究与发展;2012年01期

中国博士学位论文全文数据库 前2条

1 胡q

本文编号：446022