基于轮转部署的RAID6存储系统扩容问题研究

发布时间：2017-04-05 00:10

  本文关键词：基于轮转部署的RAID6存储系统扩容问题研究，，由笔耕文化传播整理发布。

【摘要】：近些年来,随着云计算、大数据等技术与概念的广泛兴起与发展,用户数据和新型应用以爆炸式的速度增长。这就给作为其基础设施的存储系统提出了越来越高的要求,其中包括数据的可靠性、I/O性能以及存储能力等。为了应对存储系统内部单磁盘可能在性能上带来的瓶颈,RAID技术被广泛地应用到各种实际的存储系统中去。 但是,随着需求的不断增加,一些存储系统将遇到存储空间不足的问题,这导致对原有系统的存储容量进行扩容。为了满足当前主流24小时无间断服务的需要,当今的系统扩容都要求在在线的场景下进行。在此前提下,传统的做法是基于轮叫调度的扩容方案。虽然该方案能够使得扩容后的系统访问性能达到最优,但是在扩容过程中几乎要迁移所有的数据。由此带来的大量数据迁移,将会对系统的访问性能带来影响并降低用户体验。所以为了减少扩容时迁移的数据量,人们提出了基于最小数据迁移量的新型扩容方案。 本文聚焦的是RAID存储系统的扩容问题,现有的RAID6存储系统的新型扩容算法都是基于最小数据迁移量来设计的,并且假定校验块部署在特定的2块磁盘上。然而实际部署RAID6存储系统时,为了均衡校验盘负载,通常采用轮转的方式将所有的校验块均匀地部署在所有磁盘中。而原有的扩容方案只考虑了数据块的迁移而没有考虑校验块的迁移,这就会导致在扩容后的系统中校验块的负载不均衡。 针对校验块为轮转部署的RAID6存储系统,本文就最常用的纠删码RDP编码与EVENODD编码,提出了一种新型的扩容方案RSR。 RSR在满足数据最小迁移量的基础上,通过多条带间逻辑拼接的方式,使得系统在扩容后数据块与校验块均衡地部署在所有磁盘上。RSR还通过引入Piggyback技术减少了扩容后更新校验块所带来的开销。 本文采用广泛接受的磁盘模拟器DiskSim对RDP编码和EVENODD编码分别进行模拟实验。为了比较不同扩容方案的性能,本文选取RSR、 RS6、 RR4、RR5这4种扩容方案,并对其扩容时间和扩容后的访问性能进行对比模拟实验。对于RDP编码,实验从6个磁盘扩容到18个磁盘,分4次分别增加2、4、2、4个磁盘。模拟实验结果表明,RSR在总体扩容时间上对比RR4和RR5减少了53.45%～76.75%,对比RS6减少了-0.74%～6.89%。RSR在写主导的访问记录Finiciall下,在扩容后平均访问时间上对比RR5增加了0.76%～15.92%,而RR4、RS6由于校验块不均衡的原因无法得出有效的平均访问时间。对于EVENODD编码,RSR在对比模拟实验中有着相似的表现。所以RSR在多种算法中具有较低的扩容开销,并在扩容后的系统访问性能上接近最优。
【关键词】：RAID6 数据迁移 扩容 轮转部署 纠删码
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要5-7
• Abstract7-9
• 目录9-12
• 图目录12-13
• 第1章 绪论13-21
• 1.1 研究背景13-16
• 1.1.1 海量数据的机遇与挑战13-14
• 1.1.2 容错的意义14
• 1.1.3 RAID存储系统14-16
• 1.2 RAID扩容技术国内外研究现状16-19
• 1.3 本文工作19
• 1.4 本文组织结构19-21
• 第2章 RAID6扩容问题与相关技术21-31
• 2.1 RAID6容错机制21-22
• 2.2 纠删码22-24
• 2.2.1 RDP编码23-24
• 2.2.2 EVENODD编码24
• 2.3 轮转部署机制24-25
• 2.4 RAID6扩容技术25-29
• 2.4.1 基于轮叫调度扩容方案25-26
• 2.4.2 基于逻辑拼接空闲块扩容方案26-27
• 2.4.3 基于多条带之间拼接扩容方案27-28
• 2.4.4 Piggyback技术28-29
• 2.5 本章小结29-31
• 第3章 基于校验块轮转部署的RDP编码扩容算法31-49
• 3.1 不同条带间的拼接过程31-32
• 3.2 校验块的迁移与均衡32-33
• 3.3 条带内的数据迁移33-34
• 3.4 算法形式化介绍34-37
• 3.4.1 多条带之间拼接的形式化介绍34-35
• 3.4.2 条带内数据迁移块迁移的形式化介绍35-37
• 3.5 算法的理论分析37-39
• 3.5.1 校验块均衡与最小迁移量分析37
• 3.5.2 数据块均衡与最小迁移量分析37-38
• 3.5.3 快速寻址分析38
• 3.5.4 RSR优势分析38-39
• 3.6 算法的寻址过程39-44
• 3.6.1 寻址函数39-42
• 3.6.2 映射旧磁盘块42-43
• 3.6.3 映射新磁盘块43-44
• 3.7 基于DiskSim模拟实验与分析44-48
• 3.7.1 实验设置与评估方法44-45
• 3.7.2 扩容时间评估45
• 3.7.3 访问性能评估45-47
• 3.7.4 实验结果分析47-48
• 3.8 本章小结48-49
• 第4章 基于校验块轮转部署的EVENODD编码扩容算法49-55
• 4.1 算法形式化介绍49-50
• 4.1.1 多条带之间拼接的形式化介绍49-50
• 4.1.2 条带内数据迁移块迁移的形式化介绍50
• 4.2 算法理论分析50-51
• 4.3 基于DiskSim模拟实验与分析51-54
• 4.3.1 实验设置与评估方法51
• 4.3.2 扩容时间评估51-52
• 4.3.3 访问性能评估52-54
• 4.3.4 实验结果分析54
• 4.4 本章小结54-55
• 第5章 总结与展望55-57
• 5.1 本文工作总结55-56
• 5.2 工作展望56-57
• 参考文献57-61
• 致谢61-63
• 在读期间发表的学术论文与取得的其他研究成果63

【共引文献】

中国期刊全文数据库 前10条

1 李红;;基于Google Bigtable的海量数据存储探索[J];鞍山师范学院学报;2013年04期

2 唐宏;;基于MapReduce的大规模流量分析系统的设计[J];电信科学;2013年12期

3 马飞;;多云工作流优化传输费用的数据布局策略[J];电脑知识与技术;2014年10期

4 刘鹏曦;许王燕;;一种冗余地理数据存储系统[J];大众科技;2014年01期

5 吕晓霞;王俪璇;张燕;;元数据和数据分离的安全云存储体系结构的设计[J];计算机安全;2014年04期

6 杨关建;华泽玺;杨彬;;Hadoop平台在智能变电站中的应用研究[J];电源技术应用;2014年03期

7 冯玉龙;;基于星上自适应FEC的卫星数据分发[J];电讯技术;2014年06期

8 刘琪;王小正;王磊;;基于本体的教育资源语义检索关键技术研究[J];电脑知识与技术;2014年16期

9 雷德龙;郭殿升;陈崇成;巫建伟;吴小竹;;基于MongoDB的矢量空间数据云存储与处理系统[J];地球信息科学学报;2014年04期

10 费贤举;王树锋;王文;;一种海量大数据云存储系统框架设计[J];常州工学院学报;2014年03期

中国重要会议论文全文数据库 前5条

1 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年

2 徐子伟;张陈斌;陈宗海;;大数据技术概述[A];系统仿真技术及其应用学术论文集（第15卷）[C];2014年

3 汪中琳;乔自知;郭景赞;;移动运维支撑系统的互联网思维重构[A];2014全国无线及移动通信学术大会论文集[C];2014年

4 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年

5 龚琪慧;刘伟;李坤;游攀利;;基于大数据的水利数据中心建设[A];大数据时代的信息化建设——2015（第三届）中国水利信息化与数字水利技术论坛论文集[C];2015年

中国博士学位论文全文数据库 前10条

1 孙茂华;安全多方计算及其应用研究[D];北京邮电大学;2013年

2 张帆;认知可重构的高效能Web服务体系结构研究[D];解放军信息工程大学;2013年

3 胡德鹏;基于农业本体问句分析的问答系统研究与架构设计[D];中国农业科学院;2013年

4 王金宝;云计算系统中索引与查询处理技术研究[D];哈尔滨工业大学;2013年

5 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

6 董超;基于网络流量监测的移动互联网特征研究[D];北京邮电大学;2013年

7 谭鹏许;云计算环境下安全分布式存储架构与容错技术研究[D];解放军信息工程大学;2013年

8 黄震;大规模分布式存储系统中数据冗余技术研究[D];国防科学技术大学;2012年

9 伍江江;面向服务应急响应的数据保护关键技术研究[D];国防科学技术大学;2012年

10 姜春茂;基于移动P2P的分布式存储和传输机制研究[D];哈尔滨工程大学;2013年

中国硕士学位论文全文数据库 前10条

1 李东升;基于Chord环的MongoDB数据均衡系统设计与实现[D];重庆大学;2013年

2 陈席林;分布式持久化缓存系统的研究与实现[D];重庆大学;2013年

3 陈贞;HDFS环境下的访问控制技术研究[D];重庆大学;2013年

4 郭峰;基于云计算的虚拟化技术在高校教学服务中的应用研究[D];北京工业大学;2013年

5 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年

6 杜超利;时空要素驱动的事件网页信息检索方法研究[D];南京师范大学;2013年

7 谢长波;基于Hadoop遥感影像存储与管理系统的设计与实现[D];昆明理工大学;2013年

8 向宇;基于云计算的管理信息系统的访问控制研究[D];重庆大学;2013年

9 贾玉辉;面向语音交互的云计算系统的研究[D];中国海洋大学;2013年

10 范晨熙;基于Hadoop的搜索引擎的研究与应用[D];浙江理工大学;2013年

  本文关键词：基于轮转部署的RAID6存储系统扩容问题研究，由笔耕文化传播整理发布。

本文编号：286139