磁盘阵列存储系统的分组编码技术研究

发布时间：2017-09-23 09:41

  本文关键词：磁盘阵列存储系统的分组编码技术研究

  更多相关文章： 存储结构 快速修复 数据可靠性 磁盘阵列

【摘要】：随着互联网的快速发展,当前每天都将产生海量的数据。为了存储这些数据,独立磁盘冗余阵列(RAID)利用多个磁盘提升系统容量和读写性能。在大规模RAID系统中,由于磁盘数较多,磁盘故障是一种常态。因此,RAID系统通常会额外保存冗余数据,以保证数据可靠性。当发生磁盘故障时,需要将坏盘修复,以维持数据可用性。并且,修复过程应该尽可能更快,因为如果修复时间过长,将长时间影响用户访问,并且在修复期间,若更多的磁盘发生故障,有可能造成数据的永久丢失。然而,磁盘容量发展迅速,磁盘读写性能却发展缓慢,传统RAID系统要修复单个TB级容量的磁盘将耗费大量时间。为了极大地加快存储系统单盘修复速度,本文提出了一种新的RAID结构,叫做OI-RAID,它的本质是一种分组编码技术。OI-RAID是一种分层结构,包含了两层编码,即外层编码和内层编码。外层编码基于平衡不完全区组设计(BIBD)和一种偏移轮转策略,能利用大量磁盘的带宽并行修复单个坏盘：内层编码基于每条对角线,部署在每个磁盘组中。本文通过具体示例介绍了OI-RAID的构建方法。我们在两层编码都部署了RAID5码,通过实验验证并分析了OI-RAID的各方面性能。结果表明,OI-RAID能利用不超过350个磁盘,使加速比达到60,因此能在短时间内修复TB级容量的磁盘；OI-RAID在单盘修复过程中的数据读取总量远低于相同容错能力的MDS纠删码,节省了网络带宽和磁盘读写开销；OI-RAID能利用接近于理论最少的磁盘数获取极高的单盘修复性能,保持了较低的磁盘开销；OI-RAID的存储开销较低,介于0.2到0.6之间；OI-RAID的更新开销已达到最优。在实际的应用场景中,为了降低分组编码技术对存储系统磁盘数的限制,我们分别基于Steiner三连系和完全图构建了OI-RAID,并提出了两种虚拟磁盘技术。这些方法都额外耗费了更多的磁盘开销,以换取OI-RAID构建的灵活性,为OI-RAID的参数提供了更多选择。为了进一步提高OI-RAID的数据可靠性,我们在OI-RAID的两层编码中分别部署了容多错的MDS纠删码,其中,若两层编码都部署容3错的MDS纠删码,整个OI-RAID系统可容任意15个磁盘故障,极大地提高了数据可靠性。最后,我们还讨论了OI-RAID这种分组编码技术在数据中心中的应用,并提出了一种混合修复算法,降低了单盘修复的网络开销。
【关键词】：存储结构 快速修复 数据可靠性 磁盘阵列
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-11
• 第1章 绪论11-21
• 1.1 分布式存储11-15
• 1.1.1 互联网时代的海量数据11-12
• 1.1.2 分布式存储系统与RAID12-15
• 1.2 存储系统的容错与修复15-17
• 1.2.1 复制与纠删码15-16
• 1.2.2 加快存储系统修复的相关研究工作16-17
• 1.3 本文的主要研究工作与贡献17-18
• 1.4 本文组织结构18-21
• 第2章 存储系统修复技术与相关研究工作21-31
• 2.1 纠删码技术21-25
• 2.1.1 纠删码简介21-22
• 2.1.2 纠删码的编码与修复22-25
• 2.2 优化修复算法的相关工作25-26
• 2.2.1 RDP码混合修复25-26
• 2.2.2 基于热度的多线程修复26
• 2.3 优化存储结构的相关工作26-29
• 2.3.1 偏移子阵列RAID结构27-28
• 2.3.2 Parity Declustering技术28-29
• 2.4 本文的研究意义29-30
• 2.5 本章小结30-31
• 第3章 加快修复的磁盘阵列分组编码技术31-53
• 3.1 分组编码技术的具体示例31-33
• 3.1.1 外层编码32-33
• 3.1.2 内层编码33
• 3.1.3 性能分析33
• 3.2 分组编码的一般构建方法33-36
• 3.2.1 构建BIBD34-35
• 3.2.2 编码设计35-36
• 3.3 分组编码的容错与修复36-40
• 3.3.1 数据可靠性36-38
• 3.3.2 修复算法38-40
• 3.4 实验与分析40-52
• 3.4.1 修复性能的实验验证41-43
• 3.4.2 加速比43-46
• 3.4.3 读取数据比46-47
• 3.4.4 系统规模下界47-49
• 3.4.5 存储开销49-50
• 3.4.6 更新开销50-51
• 3.4.7 综合对比51-52
• 3.5 本章小结52-53
• 第4章 分组编码技术在实际部署中的扩展问题53-65
• 4.1 分组编码技术的其它部署方法53-58
• 4.1.1 用Steiner三连系构建区域布局53-55
• 4.1.2 用完全图构建区域布局55-58
• 4.2 虚拟磁盘技术58-60
• 4.2.1 虚拟整组磁盘58-59
• 4.2.2 虚拟单个磁盘59-60
• 4.3 提高分组编码技术数据可靠性的方法60-62
• 4.4 分组编码技术在数据中心中的应用62-63
• 4.5 本章小结63-65
• 第5章 总结与展望65-67
• 5.1 本文总结65
• 5.2 工作展望65-67
• 参考文献67-71
• 致谢71-73
• 在读期间发表的学术论文与取得的其他研究成果73

【相似文献】

中国期刊全文数据库 前10条

1 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期

2 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期

3 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期

4 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期

5 ;昆腾分级存储系统[J];软件世界;2009年11期

6 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期

7 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期

8 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期

9 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期

10 贾莉;;Symmetrix8000实现19TB存储[J];每周电脑报;2000年18期

中国重要会议论文全文数据库 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

中国重要报纸全文数据库 前10条

1 ;第三季度中国存储系统市场达19.1亿元[N];中国高新技术产业导报;2005年

2 本报记者 薛斐;服务：存储系统的灵魂[N];计算机世界;2002年

3 单群一;惠普推出全新一体化存储系统[N];中国税务报;2007年

4 ;浪潮推出4Gb光纤存储系统[N];人民邮电;2006年

5 ;今年第二季度 存储系统市场价值达12.6亿元[N];人民邮电;2006年

6 郭;日立推出普及型存储系统[N];计算机世界;2007年

7 陈耀光;朗登 扛起存储系统设计院的大旗[N];中国企业报;2001年

8 ;富士通存储系统全面升级[N];网络世界;2009年

9 ;EMC亚洲生产制造中心落户深圳[N];网络世界;2009年

10 临履;存储系统有了“设计院”[N];网络世界;2001年

中国博士学位论文全文数据库 前10条

1 赵雨虹;云存储系统资源调度技术研究[D];华中科技大学;2015年

2 王福伟;列存储系统的数据安全与网络性能优化模型研究[D];燕山大学;2016年

3 张菁;大规模分布式纠删码存储系统中的高效数据传输技术研究[D];国防科学技术大学;2015年

4 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

5 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

6 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

7 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

8 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

9 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年

10 符青云;面向大规模流媒体服务的高性能存储系统研究[D];电子科技大学;2009年

中国硕士学位论文全文数据库 前10条

1 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年

2 俞新杰;跨数据中心容错的云存储系统[D];浙江大学;2016年

3 王振升;可重构堆叠存储系统的设计及实现研究[D];太原理工大学;2016年

4 王海群;面向数字社区的云存储系统的研究与实现[D];中国海洋大学;2015年

5 范海震;基于Linux的MPEG-4图像压缩存储系统[D];西安电子科技大学;2008年

6 陈运海;编码容错的云存储系统与性能优化[D];南京大学;2013年

7 卢义婉;基于网络编码的云存储系统中负载均衡技术研究[D];南京大学;2013年

8 王谦;云存储系统基于属性的数据访问控制研究[D];江苏大学;2016年

9 蔡京津;基于Orleans的块存储系统的设计与实现[D];吉林大学;2016年

10 王丹丹;数字射频存储系统中高速DAC电路的设计与实现[D];燕山大学;2016年

，

本文编号：904563