基于Erasure Code的高可用分布式存储系统的设计与实现

发布时间：2020-09-02 20:38

【摘要】： 自“9?11”事件之后,数据存储日益受到重视,如何确保数据的安全性成为人们关注的焦点,这要求具有安全可靠的分布式数据存储系统的出现,它将信息分散在网络或数个存储节点上,使用户在持续有效且高度可靠的方式下访问信息,即使系统在节点失效,网络断开,或受到恶意攻击的情况下,仍能有效的提供数据存储服务。 分布式散列表技术DHT的引入,使得基于P2P的广域存储系统的研究成为当今的热点,在研的系统包括:OceanStore(Berkeley)、CFS(MIT)、Past(RiceMicrosoft)、Granary(清华大学)等。但由于实际P2P环境中的异构性,动态性,不可信任性及易受攻击性,影响了存储系统的可用性。本文在863项目“协作式应急响应服务与基于漂移的可生存系统研究”的基础上,将erasure code与DHT结合起来,研究高可用的分布式存储系统的设计与实现,主要工作包括以下方面: 1)分析了P2P技术在分布式存储系统研究方面的优势,对分布式存储系统的研究现状做了总结和归纳,并且研究了P2P技术的相关理论; 2)分析、实现了基于Vandermonde矩阵与基于Cauchy矩阵的erasure code算法,并对两种算法进行了对比测试,结果表明基于Cauchy矩阵的算法较之基于Vandermonde矩阵的算法编解码效率分别提高了43%和76%; 3)提出一种基于erasure code技术的高可用分布式存储系统的体系结构,详细设计了系统的各个关键模块:文件编解码模块、分块分发与获取模块、动态维护模块、其它功能模块,并进行了性能分析; 4)实现了基于erasure code技术的高可用分布式存储系统原型HHStore。对系统的性能测试表明,集中式服务器的下载方式在节点数激增时,节点下载所用的时间也增加非常迅速,其性能下降也非常快,而HHStore在网络规模非常大时,也能保持良好的性能。 通过以上工作,本文设计并且实现了高可用的分布式存储系统,该系统能安全可靠地实现数据的存储与下载,能满足国防等关键部门涉密数据的分布存储要求,同时能够适应广域网中海量节点的并发下载请求,具有较好的可用性、安全性和易管理性,具有一定的军事及民用价值。
【学位授予单位】：国防科学技术大学
【学位级别】：硕士
【学位授予年份】：2006
【分类号】：TP333
【图文】：

Chord标识环[9]

JXTA构架[13]

图 3.1 用两个校验块提供两次容错[24]把每个数据块分成字处理，字的长度为w bits，w可由程序设计者自数据块包含k个字。为简化描述，假设每个块只包含一个字，我们把d2，…dn共n个字的数据块，经运算后产生m个字（C1，…，Cm）的计算校验块Ci的校验字，我们定义Fi为数据字的线性组合，对数据字 。如果我们把数据字和校验字分别表示，函数Fi是矩阵F的行向量，则有等式FD = C成立。1 2 .1( , , )ni i n j ijc F d d d d f== …= ∑j 把 F 定义为 m×n 的 Vandermonde 矩阵,其中 ，故上述等式 3.2 所示：1, =iijfj1,1 1, 2 1,12 ,1 2 , 2 2 , 23 ,1 3 , 2 3 , 3nnnf f fdf f f df f f d =

【引证文献】

中国期刊全文数据库 前1条

1 吴吉义;章剑林;傅建庆;平玲娣;;基于Kademlia的云存储系统数据冗余方案研究[J];电信科学;2011年02期

中国博士学位论文全文数据库 前1条

1 吴吉义;基于DHT的开放对等云存储服务系统研究[D];浙江大学;2011年

本文编号：2811076