基于HDFS的分布式存储系统的研究与实现

发布时间：2017-09-22 12:17

  本文关键词：基于HDFS的分布式存储系统的研究与实现

  更多相关文章： 分布式存储系统 HDFS Hadoop

【摘要】：物质、能量和信息是自然科学研究的三个基本对象,处理、传输和存储是信息计算的三大基本任务。随着网络技术及信息处理技术的不断发展,个人数据和企业数据的产生量呈现爆炸性膨胀的趋势,IT系统正面临着海量数据存储成本高、管理困难、可靠性低的问题,为了充分利用资源,减少重复的投资,数据存储作为IT系统的主要架构和基础设施之一,逐步被作为一个完整的系统从IT系统中独立出来,分布式存储系统因为具有海量数据存储、高扩展性、高性能、高可靠性、高可用性的特点,目前正被作为企业海量数据存储方案被业界所广泛讨论和应用[1]。因此对于分布式存储系统的研究不仅紧跟目前发展的趋势,而且具有较高的应用价值。本文基于对分布式存储系统的研究,旨在通过在网络环境下构建具有高传输性能、高可靠性、高可用性的网络分布式文件系统,通过网络数据流方式实现对海量文件系统中的数据进行存储和访问,解决大规模非结构化数据的存储、查询、高性能读取、高容错性的问题,为IT系统提供高性能、高可靠性、高可用性的存储应用服务,并为今后的分布式计算研究提供技术基础。本文阐述的主要内容如下:(1)分布式架构的相关理论以及分布式存储系统的应用现状,介绍了分布式存储系统概念;(2)然后引入开源项目Hadoop的HDFS分布式文件系统,接着对HDFS关键运行机制进行了详细分析;(3)并在此基础上,通过搭建基于HDFS 1.1.2版本的实验环境进行实际的测试验证,采集实验数据,并对实验结果作出进一步的分析总结,得到理论和实际结合的第一手资料;最后,通过结合实际需求,对中小企业存储体系、功能结构及运行环境进行了设计和规划。
【关键词】：分布式存储系统 HDFS Hadoop
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要5-6
• Abstract6-9
• 第一章 引言9-12
• 1.1 研究背景9
• 1.2 关于磁盘存储9-10
• 1.3 网络存储应用10-11
• 1.4 本文的主要工作11-12
• 第二章 分布式存储相关理论12-19
• 2.1 分布式系统概念12
• 2.2 分布式存储系统概念12
• 2.3 分布式存储系统的应用现状12-13
• 2.4 分布式存储系统架构分析13-19
• 2.4.1 中心化体系架构14-15
• 2.4.2 去中心化体系架构15-17
• 2.4.3 中心化体系结构与去中心化体系结构的比较17-18
• 2.4.4“中心化”与“去中心化”混合架构18
• 2.4.5“中心化”与“去中心化”间的选择18-19
• 第三章 HDFS分布式存储系统研究19-42
• 3.1 HSDF系统架构和设计要点19-25
• 3.1.1 HDFS的特点19
• 3.1.2 HDFS的系统架构19-20
• 3.1.3 NameNode是整个集群的中枢20-21
• 3.1.4 DataNode用于存储数据21
• 3.1.5 HDFS的设计要点21-25
• 3.2 HDFS关键运行流程解析25-32
• 3.2.1 格式化26
• 3.2.2 启动过程26-27
• 3.2.3 DataNode注册27-29
• 3.2.4 心跳连接29
• 3.2.5 写入文件29-30
• 3.2.6 读取文件30-32
• 3.2.7 删除文件32
• 3.2.8 数据校验32
• 3.3 HDFS的不足以及改进策略32-42
• 3.3.1 断点续传33-37
• 3.3.2 压缩处理37-38
• 3.3.3 小文件优化38-42
• 第四章 HDFS应用实现的技术方法42-54
• 4.1 系统内部通信的实现方法42-47
• 4.2 NameNode实现方法47-49
• 4.3 DataNode实现方法49-50
• 4.4 客户端实现方法50-54
• 第五章 基于HDFS的分布式存储系统的设计与实现54-78
• 5.1 系统需求分析54
• 5.2 系统设计和实现54-55
• 5.3 数据库结构55-56
• 5.4 系统运行环境56
• 5.5 系统运行安装配置56-58
• 5.6 登录功能模块58-63
• 5.7 文件管理模块63-66
• 5.8 文件上传模块66-69
• 5.9 文件下载模块69-71
• 5.10 文件删除模块71-73
• 5.11 系统功能测试73-78
• 第六章 结论与展望78-79
• 参考文献79-80
• 致谢80-81
• 附件81

【相似文献】

中国期刊全文数据库 前10条

1 何公明;张元涛;;面向数字媒体的高性能分布式存储系统的研究与应用[J];广播电视信息;2009年10期

2 范剑波,郭建康;分布式存储系统性能模型的建立与应用[J];计算机工程与应用;2001年13期

3 范剑波,徐利浩;分布式存储系统可靠性的研究[J];计算机工程;2001年06期

4 吴英;谢广军;刘t，

本文编号：900769