基于RDP编码的分布式存储系统磁盘故障修复

发布时间：2017-07-03 07:32

  本文关键词：基于RDP编码的分布式存储系统磁盘故障修复

  更多相关文章： 分布式存储系统 RDP编码 磁盘连续 单节点故障修复

【摘要】：建立维护可靠的、可扩展、低成本、高性能的分布式存储系统是云计算、大数据以及互联网公司应用后台基础的主要目标。分布式存储系统拥有着传统集中式存储所无法比拟的优势,然而,由于分布式存储系统组件的不可靠,运行过程中存在着种种异常情况,在各种异常中磁盘故障发生的概率最高,因此如何高效、透明地恢复磁盘故障,重构磁盘数据,是分布式存储系统所面临的重大问题。 在容多错的分布式存储系统中存在着频繁的单节点故障,使得单节点故障数据修复问题成为研究的热点。基于纠删码的分布式存储系统数据修复在现阶段主要考虑的重要因素之一是从存活磁盘读取的数据量最优,因此本文的研究重点为以下两方面： 一、研究分布式存储系统中单节点故障时的磁盘数据修复问题。通过针对分布式存储系统中存储介质的实际读取特性,设计了一种新型的基于磁盘连续读的故障修复方案。本文提出的基于连续读的修复方案在保持单磁盘故障修复过程数据量读取量最小的前提下,最大程度维持磁盘访问的连续性,减少磁盘的跳跃性读取,加快单磁盘故障的修复效率。本文针对RDP编码提出了相应的基于磁盘连续读的单节点故障修复方案,理论和实验均表明,该修复方案可以显著提高单节点故障修复的速率,减少修复时间。 二、设计开发支持纠删码容错存储技术的分布式存储研究平台DSRP,该平台不仅可以类似普通文件系统对文件和目录的进行存取、创建、删除等操作,还能支持各种纠删码编解码容错机制、系统扩容以及系统重复数据删除等功能。该系统还可以为纠删码故障修复算法、重复数据删除技术以及系统磁盘扩容等算法提供实验验证平台和丰富的数据统计。
【关键词】：分布式存储系统 RDP编码 磁盘连续 单节点故障修复
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要5-6
• Abstract6-9
• 第1章 绪论9-17
• 1.1 研究背景与意义9-13
• 1.1.1 分布式存储9-11
• 1.1.2 分布式存储的容错意义11-12
• 1.1.3 容错机制及主要容错策略12-13
• 1.1.4 数据快速有效修复的意义13
• 1.2 基于纠删码的容错机制研究现状13-14
• 1.3 本文主要工作14
• 1.4 本文组织结构14-17
• 第2章 分布式存储系统容错问题及相关技术17-33
• 2.1 引言17
• 2.2 复制与纠删码策略17-23
• 2.2.1 复制策略17-19
• 2.2.2 纠删码策略19-21
• 2.2.3 纠删码性质21-22
• 2.2.4 纠删码分类22-23
• 2.3 RAID技术23-31
• 2.3.1 RAID技术的提出24
• 2.3.2 RAID级别24-28
• 2.3.3 RAID阵列主要技术28-30
• 2.3.4 RAID6系统中广泛采用的编码方案30-31
• 2.3.5 分布式系统中关于RAID技术的应用31
• 2.4 分布式存储系统容错问题的主要优化目标31-32
• 2.5 本章小结32-33
• 第3章 基于RDP编码的分布式存储系统连续读优化算法33-47
• 3.1 引言33
• 3.2 RIDP编码33-34
• 3.3 单节点故障修复研究34-36
• 3.4 磁盘读写性能及主要优化措施36-37
• 3.5 基于连续读的RDP单节点修复37-46
• 3.5.1 RDP单节点修复连续读次数下界38-41
• 3.5.2 基于连续读的RDP最优单盘修复算法41-42
• 3.5.3 实验与分析42-46
• 3.6 本章小结46-47
• 第4章 支持纠删码容错技术的分布式存储研究平台DSRP47-67
• 4.1 引言47
• 4.2 工作描述及技术基础47-49
• 4.3 系统总体设计框架49-50
• 4.4 系统主要功能模块50-54
• 4.4.1 NCFS文件系统51-52
• 4.4.2 后台系统操作52-53
• 4.4.3 通讯协议53-54
• 4.5 系统实现54-67
• 4.5.1 文件系统层功能模块与接口54-59
• 4.5.2 编码层功能模块与接口59-62
• 4.5.3 Cache层功能模块与接口62-64
• 4.5.4 存储层功能模块与接口64
• 4.5.5 DSRP通讯模块与接口64-67
• 第5章 总结与展望67-69
• 5.1 文章总结67-68
• 5.2 工作展望68-69
• 参考文献69-73
• 致谢73-75
• 在读期间发表的学术论文与取得的研究成果75

【参考文献】

中国期刊全文数据库 前1条

1 奚慧兴;;Reed-Solomon算法在RAID系统中的应用[J];鞍山师范学院学报;2010年02期

  本文关键词：基于RDP编码的分布式存储系统磁盘故障修复

  更多相关文章： 分布式存储系统 RDP编码 磁盘连续 单节点故障修复

，

本文编号：512772