基于Hadoop的全分布式存储架构研究

发布时间：2018-01-05 16:04

  本文关键词：基于Hadoop的全分布式存储架构研究　出处：《西安电子科技大学》2013年硕士论文　论文类型：学位论文

  更多相关文章： 云存储 HDFS Namenode 单点失效 海量小文件存储

【摘要】：随着互联网的飞速发展，人类已经进入大数据时代，数据量呈现爆炸式的增长，云计算作为解决海量数据的有效手段也越来越受到人们重视。同时，云存储作为云计算支撑性的底层服务也显得越发重要。尤其是目前最为流行的开源分布式文件系统Hadoop Distributed File System (HDFS)，以其廉价、简单易部署的特点成为各大企业的首选。但是由于其自身的一些缺陷制约了HDFS的应用。 本文首先研究了目前几种主流的分布式文件系统，分析了各自的特点，重点剖析了HDFS系统架构及其运行机制。HDFS采用的是主从式的架构，系统只有一个主节点，这种架构容易造成单点失效和高并发访问的性能瓶颈问题。本文针对这一问题，提出了一种去中心化全分布式架构。该架构通过将单个Namenode水平扩展为多个来解决单点失效问题。通过对元数据同步机制的深入研究，我们使用Secondary Namenode解决系统的元数据一致性问题。同时，文件采用读写分开的方式存储，，对只读性文件的存储策略进行改进，采用一致性Hash存储，将部分元数据隐藏在文件名中，从而降低内存中的元数据量。同时采用文件偏移量而非固定分块方式存储文件位置，减小文件碎片。最后通过系统仿真，说明在可靠性、文件碎片、内存元数据方面所提架构比HDFS系统具有较大提升。
[Abstract]:With the rapid development of the Internet , human has entered the age of big data , the data volume presents explosive growth , and cloud computing is becoming more and more important as an effective means to solve the massive data . At the same time , cloud storage is becoming more and more important as an underlying service for cloud computing support . Especially , the most popular open source distributed file system Hadoop Distributed File System is the first choice for each big enterprise . However , because of its own defects , it has restricted its application . This paper first studied the current distributed file systems , analyzed their characteristics , analyzed the architecture and operating mechanism of the system . The architecture and the operating mechanism of the system were analyzed . In this paper , the problem of single point failure was solved by using the secondary Namenode to solve the problem of single point failure .

【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333

【参考文献】

相关期刊论文 前5条

1 杨克戎;韩兴顺;;云计算与高校信息化建设中问题的解决方案[J];电脑知识与技术;2009年20期

2 刘旭辉;韩冀中;贺劲;韩承德;;基于集群系统的空间数据并行处理策略研究[J];高技术通讯;2009年10期

3 史强;;GFS云存储技术可靠性简介[J];福建电脑;2012年01期

4 邓青;王丽芳;蒋泽军;;云存储环境下的负载均衡策略研究[J];航空计算技术;2011年06期

5 罗军舟;金嘉晖;宋爱波;东方;;云计算:体系架构与关键技术[J];通信学报;2011年07期

相关硕士学位论文 前3条

1 徐玲;CDN网络中负载均衡的研究[D];上海交通大学;2007年

2 邓自立;云计算中的网络拓扑设计和Hadoop平台研究[D];中国科学技术大学;2009年

3 栾亚建;分布式文件系统元数据管理研究与优化[D];华南理工大学;2010年

本文编号：1383819