基于网络编码的分布式存储容错及扩容问题研究

发布时间：2018-02-25 03:28

  本文关键词： 分布式存储 网络编码 再生码 节点修复 系统扩容　出处：《中国科学技术大学》2013年博士论文　论文类型：学位论文

【摘要】：当前,信息技术飞速发展,已从以计算设备为核心的时代进入到以存储设备为核心的时代,数据海量化成为一种趋势。分布式存储以其廉价和高扩展性等特点适用于数据的海量存储,得到越来越广泛的应用。分布式存储系统依靠冗余存储来维持整个系统的可靠性,并且需要一个良好的节点修复机制在发生节点故障时能快速有效的进行修复,维持系统的冗余度。基于网络编码的分布式存储系统编码冗余方式(再生码)相比于传统的冗余策略(复制、纠删码),降低了维持系统可靠性所需的存储开销和节点修复所需的带宽开销,因此有着良好的应用前景。我们希望对基于再生码的各种具体的编码方式及节点修复方式进行研究。分布式存储系统的另一个关键问题是系统扩容。对于相对较为复杂的基于再生码的分布式存储系统而言,如何高效的进行系统扩容,也是我们需要解决的问题。 本文主要研究了基于网络编码的分布式存储系统中的节点修复问题和扩容问题,主要研究内容如下： (1)基于MSR(最小存储再生码)的单节点修复确定性算法 良好的节点修复机制对分布式存储系统至关重要。本文研究了基于MSR编码的分布式存储系统的单节点修复问题。我们通过对节点修复过程中的两个编码步骤进行分析,给出了每个编码步骤所需满足的条件。并参考多播问题中中间节点进行数据编码的确定性算法,给出了一种实际的MSR编码单节点修复问题的确定性算法满足上述条件。与传统的随机性方法相比,我们的确定性算法能够百分之百保证修复性质,使得系统拥有更高的可靠性。同时只需要一个相对小得多的有限域,从而大大减少了编解码过程中的计算开销和内存开销。 (2)多节点合作修复的E-MBR(确定性修复的最小带宽再生码)编码方法 实际系统中,常常会遇到多个节点同时发生故障的情况。现有的E-MBCR编码方法仅基于r=n-k个节点修复的情况。对于r'n-K个节点故障尽管也能修复,但带宽开销和存储开销都较高。本文中,我们证明了任意(n,K)系统中的任意r(2≤r≤n-K)个节点故障情况下达到节点修复带宽开销下界的E-MBCR编码的存在性,并给出了一种实际的编码方式以及相应的节点修复和还原原始文件的方法。我们的方法通过多节点合作修复降低了修复带宽开销。并通过确定性修复维持了系统中未编码的原始文件块的存在,从而提高了访问性能。同时,比起现有的基于r=n-k个节点故障的E-MBCR编码方法,我们的方法降低了系统存储开销和节点修复带宽开销。 (3)基于E-MSR(确定性修复的最小存储再生码)的分布式存储系统的存储容量扩容问题 分布式存储系统常常会遇到存储容量或访问性能不足的情况,从而产生系统扩容的需求。本文率先提出了基于再生码的分布式存储系统扩容问题,并研究了基于E-MSR编码的分布式存储系统的存储容量扩容问题。我们对该问题进行了建模分析,给出了其限制条件及优化目标,并主要针对扩容过程的带宽开销这一优化目标对问题进行了研究,指出减少带宽开销的关键点在于扩容前后系统的编码块部分有较大相关性。我们采用了利用较大规模系统的编码矩阵构造较小规模系统的编码矩阵的方法,使得系统在扩容前后编码块的编码矩阵有较大部分保持不变,冗余节点只需下载一小部分数据就能完成编码块更新,从而降低了整个扩容过程的带宽开销。
[Abstract]:......
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2013
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 王慧;申家双;陈冬阳;邓雪清;;一种高性能的大区域遥感影像管理模型[J];海洋测绘;2006年03期

2 郑胜;郝毫毫;;基于贝努利大数定律的数据分布算法[J];计算机工程;2009年19期

3 孟庆伟;;云计算技术及其电信应用[J];电信快报;2010年07期

4 卢益阳;;分布式存储系统调查[J];企业科技与发展;2011年16期

5 刘广涛;舒继武;郑纬民;;可扩展的分布式邮件系统的研究与实现[J];小型微型计算机系统;2005年12期

6 王大涛;姜月秋;;一种适用于集群的高可用存储模型的研究[J];沈阳理工大学学报;2007年02期

7 邢继元;张义德;;计算机存储技术的发展现状和趋势[J];科协论坛(下半月);2008年02期

8 赵颖斯;刘云;;BBS舆情系统的数据采集方法[J];电信快报;2008年12期

9 高波;郭朝珍;丁善镜;;基于GML矢量图层分割的空间数据分布式协同处理的研究[J];计算机应用;2009年01期

10 张天祥;潘峰;杨晓元;刘镇;张薇;;改进的LPCA算法[J];计算机工程与应用;2010年09期

相关会议论文 前10条

1 程果;陈荦;景宁;赵亮;左怀玉;;一种遥感影像的层次化组织分布式存储管理方法[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

2 龚尚福;朱宇;李占利;;大型综合类数字图书馆解决方案[A];第十四届全国煤矿自动化学术年会暨中国煤炭学会自动化专业委员会学术会议论文集[C];2004年

3 姜继忱;陈钢;;P2P之路——缔造“分布式对等”的Internet3.0[A];全面建设小康社会：中国科技工作者的历史责任——中国科协2003年学术年会论文集（下）[C];2003年

4 郭建忠;李宏伟;;多尺度地理空间数据分布式存储与管理若干问题的研究[A];地理空间信息技术与应用——中国科协2002年学术年会测绘论文集[C];2002年

5 张彦;刘欣然;徐慧彬;;一种基于虚拟计算环境的分布式存储体系结构[A];2009全国计算机网络与通信学术会议论文集[C];2009年

6 付子义;宋昀;;网络编码技术研究[A];武汉(南方九省)电工理论学会第22届学术年会、河南省电工技术学会年会论文集[C];2010年

7 黄佳庆;李挥;;网络编码理论研究进展[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集（下册）[C];2008年

8 杜希奇;王学俭;卜忱;;动态数据神经网络建模技术[A];探索创新交流－－中国航空学会青年科技论坛文集[C];2004年

9 郭荣坤;高鹏翼;;人工神经网络(ANN)在测井储层评价中应用[A];1996年中国地球物理学会第十二届学术年会论文集[C];1996年

10 李于锋;张亚林;赵强;;有限元计算框架PANDA中的并行机制[A];中国计算力学大会'2010（CCCM2010）暨第八届南方计算力学学术会议（SCCM8）论文集[C];2010年

相关重要报纸文章 前10条

1 ;存储2.0时代渐行渐近[N];网络世界;2007年

2 黄言;联想服务器护航CDN网络大提速[N];中国企业报;2008年

3 山东胶南张家楼教委 杨维春;数字图书馆的待解难题[N];中国电脑教育报;2006年

4 李梅;存储2.0,基于Web的存储迎面而来[N];计算机世界;2007年

5 刘学习;存储技术往哪儿走？[N];计算机世界;2007年

6 本报记者　 周蓉蓉;做信息化的“司务长”[N];计算机世界;2006年

7 中兴通讯;云存储铺就海量数据之路[N];通信产业报;2011年

8 仰一凡、王哲;应用校园网生存和发展之本[N];中国计算机报;2002年

9 ;存储系统的挑战[N];网络世界;2006年

10 本报记者 周源;Drobo:简单的力量[N];网络世界;2010年

相关博士学位论文 前10条

1 赵浩天;基于网络编码的分布式存储容错及扩容问题研究[D];中国科学技术大学;2013年

2 胡q，

本文编号：1532859