容错存储系统中的MDS阵列码研究

发布时间：2017-12-06 06:01

  本文关键词：容错存储系统中的MDS阵列码研究

  更多相关文章： 阵列码 纠删码 存储系统 磁盘阵列 容错

【摘要】：随着现代存储系统在规模和复杂性上的不断增长,硬盘(节点)故障已经成为系统运行中的一个日常事件。为了防止各类硬件故障造成数据丢失,存储系统一般使用两种方式对数据进行保护,即多路镜像和纠删编码。多路镜像虽然实现简单,但这种方式的存储效率通常较低;而纠删码技术由于可以灵活地调节存储效率而被越来越多的存储系统采用。最大距离可分的(MDS)阵列码是一类主要面向存储系统的纠删码,这类码可以使用最少的冗余来提供特定的容错能力,并且其编解码过程只需要用到简单的异或和循环移位运算,因此在近几年受到了越来越多的关注。本文主要针对纠双删和纠三删的MDS阵列码进行了深入的研究,并取得了以下几点成果:1、RAID-6正在逐步取代RAID-5成为RAID的主流形式,因为它可以在两个磁盘同时故障的情况下也能够恢复数据。有许多纠双删的MDS阵列码是专为实现RAID-6设计的,但是这些码都有它们各自的局限性。本文研究了其中一种有代表性的码(Blaum-Roth码),分析其优势及局限性,并对其编解码算法进行改进。改进后的Blaum-Roth码具有以下优秀特性:1)编码复杂度达到理论下界;2)解码复杂度接近理论下界;3)可以在几乎没有性能损失的前提下实现RAID-6的可扩展性。与其它最常用于RAID-6的MDS阵列码相比,改进后的Blaum-Roth码更适于构建高性能并且可伸缩的RAID-6磁盘阵列。2、纠双删的最低密度MDS阵列码是一类结构优美的纠删码,具有最优的编码、解码和更新复杂度。然而,现有的这类码或者对码长的限制过于严格,或者编码规则没有明显的几何规律,这使得它们的实用性较差。为此,本文构造了一种新的纠双删最低密度MDS阵列码,称为对称码。对称码的编码、解码和更新复杂度均达到最优,而且码长可以是素数或者素数减1。此外,对称码在恢复单个删除列时所需的I/O开销比大多数最低密度MDS阵列码要少,并且在码长较短时这个开销可以接近理论下界。3、最低密度MDS阵列码由于其编码和更新复杂度的最优性而广受欢迎。然而,目前已知的绝大多数最低密度MDS阵列码都只能纠两个删除列,虽然有少部分例外,但是它们对码长的限制非常严格。例如,现有的纠三删的最低密度MDS阵列码通常要求码长为p(或p-1),其中p必须是满足以下条件的素数:2为GF(p)的一个本原元且p-1能够被3整除。如此严格的码长限制使得这些码几乎无法被实际存储系统采用。为此,本文构造了一种实用的纠三删的最低密度MDS阵列码,能够纠正码字中的任意三个删除列或者一个删除列连同一个差错列。这类码的解码复杂度可以达到或接近理论下界(取决于删除模式),并且码长可以是p或p+1,其中p是一个奇素数。这是目前已知最具实用价值的纠三删的最低密度MDS阵列码。4、广义RDP码被认为是目前最实用和最高效的强系统的MDS码,因为其编码复杂度达到了理论下界,并且可以支持任意码长。然而,广义RDP码的现有解码算法的解码复杂度离理论下界有点远,还有一定的改进空间。本文对纠三删的广义RDP码的解码算法进行了研究,并提出了一种针对三个删除列的改进的解码算法。与原有的解码算法相比,本文提出的算法具有明显更低的解码复杂度,且当码长不等于10或11时这个复杂度最多只比理论下界高出8个百分点。
【学位授予单位】：华中科技大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP333

【相似文献】

中国期刊全文数据库 前10条

1 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期

2 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期

3 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期

4 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期

5 ;昆腾分级存储系统[J];软件世界;2009年11期

6 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期

7 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期

8 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期

9 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期

10 贾莉;;Symmetrix8000实现19TB存储[J];每周电脑报;2000年18期

中国重要会议论文全文数据库 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

中国重要报纸全文数据库 前10条

1 ;第三季度中国存储系统市场达19.1亿元[N];中国高新技术产业导报;2005年

2 本报记者 薛斐;服务：存储系统的灵魂[N];计算机世界;2002年

3 单群一;惠普推出全新一体化存储系统[N];中国税务报;2007年

4 ;浪潮推出4Gb光纤存储系统[N];人民邮电;2006年

5 ;今年第二季度 存储系统市场价值达12.6亿元[N];人民邮电;2006年

6 郭;日立推出普及型存储系统[N];计算机世界;2007年

7 陈耀光;朗登 扛起存储系统设计院的大旗[N];中国企业报;2001年

8 ;富士通存储系统全面升级[N];网络世界;2009年

9 ;EMC亚洲生产制造中心落户深圳[N];网络世界;2009年

10 临履;存储系统有了“设计院”[N];网络世界;2001年

中国博士学位论文全文数据库 前10条

1 赵雨虹;云存储系统资源调度技术研究[D];华中科技大学;2015年

2 王福伟;列存储系统的数据安全与网络性能优化模型研究[D];燕山大学;2016年

3 张菁;大规模分布式纠删码存储系统中的高效数据传输技术研究[D];国防科学技术大学;2015年

4 沈志荣;纠删码存储系统性能优化研究[D];清华大学;2015年

5 黄志杰;容错存储系统中的MDS阵列码研究[D];华中科技大学;2016年

6 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

7 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

8 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

9 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

10 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

中国硕士学位论文全文数据库 前10条

1 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年

2 张明;IaaS中基于热点数据的存储系统研究与实现[D];哈尔滨工业大学;2015年

3 蒋静远;基于数据通道的非结构化数据多存储系统[D];浙江大学;2015年

4 郭晖;面向高清视频监控的流存储系统设计与实现[D];电子科技大学;2015年

5 许孟杰;嵌入式快速存储模块的研究与实现[D];中国舰船研究院;2015年

6 何洁和;面向POI的分布式结构化存储系统存储引擎设计与实现[D];电子科技大学;2014年

7 王晓;混合存储系统高效快照技术研究[D];北京理工大学;2015年

8 邱登峰;基于Hadoop可公共审计云存储的设计与实现[D];大连理工大学;2015年

9 张致元;电子商品存储系统设计与研究[D];复旦大学;2014年

10 刘秉煦;云存储环境下的混合存储算法研究与实现[D];上海交通大学;2015年

，

本文编号：1257563