一种高性能HDFS存储平台的研究与实现

发布时间：2019-11-04 11:21

【摘要】：近年来，云计算成为了互联网行业最热的话题之一。由于其高可靠性，高吞吐量及高可扩展性，， Hadoop分布式文件系统HDFS成为了主流的云计算平台的底层存储系统，政府、高校、科研机构或者企事业单位均先后使用HDFS作为其集群的存储平台。然而，尽管HDFS有着良好的表现，其在性能上仍然存在明显的问题。比如NameNode的单点失效，数据存储空间浪费，小文件存储效率低等。现阶段的国内外研究往往仅针对上述单个问题作出分析与研究，没有系统地将HDFS的性能问题进行整合与改进。 本文针对这些问题，设计与实现了一个高性能的HDFS存储平台。平台采用内存与硬盘的双重元数据备份机制，在保证NameNode高可用性的同时，降低了集群因NameNode宕机失效所需的恢复时间；在数据的存储上，平台采用基于ErasureCode的编码存储技术，对文件分块后的block数据进行编码存储，降低了集群的副本数量，提高了存储空间的利用率；平台也对HDFS存储小文件效率低的问题作出了改进，采用Hadoop提供的HAR文件格式，将小文件打包上传，减轻了NameNode的元数据存储压力，也同时提高了小文件的读写速度。 文章最后通过一系列的实验来验证高性能HDFS存储平台在可用性，存储效率上的优势，满足了系统的设计要求。
【图文】：

18一种高性能 HDFS 存储平台的研究与实现3) NavigableMap<String, DatanodeDescriptor> datanodeMap下面结合具体的代码对元数据结构进行分析3.1.2 元数据结构代码分析先来看类 FSNamesystem 的三个重要成员变量，如图 3.1 所示。package org.apache.hadoop.hdfs.server.namenode;FSNamesystem.java

下面结合具体的代码对元数据结构进行分析3.1.2 元数据结构代码分析先来看类 FSNamesystem 的三个重要成员变量，如图 3.1 所示。图 3.1 FSNamesystem 类核心成员类 FSDirectory 实现了 INode 的管理，并且通过成员变量 fsImage 呈现了元数据信息的加载以及持久化存储:package org.apache.hadoop.hdfs.server.namenode;FSNamesystem.javapublic class FSNamesystem implements FSConstant, FSNamesystemMBean,FSClusterStats {……public FSDirectory dir;BlockManager blockManager;NavigableMap<String, DatanodeDescriptor> datanodeMap = newTreeMap<String,DatanodeDescriptor>();……}package org.apache.hadoop.hdfs.server.namenode;FSDirectory.java
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333

【参考文献】

相关期刊论文 前1条

1 潘利伟;谷建华;朱靖飞;周志超;;基于Erasure Code的分布式文件存储系统[J];计算机工程;2010年17期

本文编号：2555607