基于纠删码的HDFS的优化方法的设计与实现

发布时间：2021-08-08 02:02

　　Hadoop分布式文件系统,即HDFS,通过三备份存储方式保障了数据的可靠性,存储空间的利用率却比较低。随着数据规模的飞速增长,尤其对于冷数据而言,HDFS传统存储方式造成的额外开销也会越来越大。因此,HDFS亟需一种新的优化存储机制,在保障数据可靠性的同时,又能节省存储空间。HDFS Erasure Coding项目应用而生,它使用纠删码技术来存储HDFS文件并恢复丢失的数据。基于HDFS传统存储方式及HDFS RAID技术现有的问题,在HDFS EC中引入了纠删码、条状布局和分层命名协议等技术。结合对现有问题的分析,提出了HDFS EC的优化指标。通过对比HDFS EC编码时条状布局和连续布局的特点,选择了条状布局,并针对条状布局设计了新的文件存储单位。在此基础上,采用分层命名协议来定位内部块,减轻Name Node端的内存压力。针对HDFS EC设计了专门的读写类和辅助类,既能够复用HDFS中部分已有的读写逻辑,又能实现HDFS EC基本的读写流程。为了保障HDFS EC中编解码技术的丰富性和将来的扩展性,设计了耦合性低、可插拔和模块化的编解码框架Erasure Codec和其他... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：68 页

【学位级别】：硕士

【部分图文】：

GF（2）域中的二进制矩阵[42]

华 中 科 技 大 学 硕 士 学 位 论 文图 2-5 GF（2）域中的二进制矩阵如图 2-4 所示，黑色格子表示逻辑 1，白色格子表示逻辑 0[42]。生成矩阵的换如图 2-6 所示[43]：

有限域转换后的的柯西编码运算如表2-8所示是采用的GF(2w)（w大小为8，字段大小为256，本原多项式为

【参考文献】：
期刊论文
[1]一种基于HDFS小文件存储优化方案[J]. 张晓丽,滑亚慧.  计算技术与自动化. 2017(03)
[2]云存储系统Master节点故障动态切换算法[J]. 马玮骏,王强,何晓晖,冯径,马强.  计算机技术与发展. 2017(09)
[3]基于简单再生码的带宽感知的分布式存储节点修复优化[J]. 丁尚,童鑫,陈艳,叶保留.  软件学报. 2017(08)
[4]分布式存储中的纠删码容错技术研究[J]. 王意洁,许方亮,裴晓强.  计算机学报. 2017(01)
[5]一种基于模型的云计算容错机制开发方法[J]. 武义涵,黄罡,张颖,熊英飞.  计算机研究与发展. 2016(01)
[6]Ceph云文件系统中纠删码的应用研究[J]. 刘莎,楚传仁.  计算机时代. 2016(01)
[7]基于支持向量机的HDFS副本放置改进策略[J]. 罗军,陈仕强.  计算机工程. 2015(11)
[8]基于Ceph的云存储容错机制研究与实现[J]. 漆晓芳,倪明.  信息技术. 2015(08)
[9]GRC:一种适用于多节点失效的高容错低修复成本纠删码[J]. 林轩,王意洁,裴晓强,许方亮,符永铨.  计算机研究与发展. 2014(S2)
[10]基于纠删码的HDFS存储方案[J]. 卞艺杰,马瑞敏,李亚冰,吴慧.  计算机系统应用. 2014(11)

博士论文
[1]分布式存储系统中基于纠删码的容错技术研究[D]. 朱云锋.中国科学技术大学 2014



本文编号：3328988