基于HDFS的云存储系统的设计与实现

发布时间：2017-09-16 08:12

  本文关键词：基于HDFS的云存储系统的设计与实现

  更多相关文章： 云存储 小文件存储 HDFS NFS 配额管理

【摘要】：近年来,云计算由于其可以快速分析处理大量数据而普及。而大容量高性能的存储系统是云计算的基础。其中,分布式存储系统HDFS作为Google File System最为知名的开源实现,已经被广泛使用和研究。它为各大公司和科研机构搭建云存储服务提供了很好的参考。然而,HDFS作为云计算的辅助系统,自身还存在小文件存储效率低下等不足,由于这些不足导致HDFS本身是无法直接提供针对商业需求的应用。为了解决这些问题,本文首先提出针对小文件存储的优化方案并根据实际商业需求设计并实现了基于HDFS集群的分布式文件存储系统。 本文所设计的系统主要包括两种访问模式：Web模式和NFS模式。重点研究了小文件存储优化、用户管理、配额管理、NFS和HDFS的融合等方面。本文的主要工作如下： 1、针对小文件存储提出了优化方案,并进行了仿真验证。 2、设计出一套完整的针对企业级用户需求的解决方案,从客户端的设计到整个系统的架构,从客户的需求分析到功能点的实现,都给出了非常详尽的描述。 3、本文完成了三大部分的实现,首先完成了基于Web模式的云存储系统,主要实现了用户登录,配额管理,文件共享等重要功能。然后将NFS引入云存储系统,和HDFS分布式集群系统完成对接,实现了用户可以访问各自的独立空间。最后完成了后台管理系统。 4、针对本系统的两种使用模式,使用黑盒子技术设计了非常详尽的测试用例来测试它们各自的性能,并在上传文件、下载文件和不同并发下上传文件这三个场景里进行性能的比较。 本文首先针对小文件存储设计了优化方案,通过仿真实验表明优化方案在内存使用效率和文件读取效率方面提高明显。之后利用HDFS作为基础设计并实现了符合商业需求的分布式存储系统,成功将NFS和HDFS进行融合。在实际的测试和应用当中,系统的功能全面而实用、性能也表现良好。
【关键词】：云存储 小文件存储 HDFS NFS 配额管理
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-11
• 表格11-12
• 插图12-14
• 第1章 绪论14-20
• 1.1 云存储研究背景14-16
• 1.1.1 云存储的概念14-15
• 1.1.2 云存储的优势15-16
• 1.2 本文的研究意义16-17
• 1.3 研究现状17-18
• 1.3.1 国外云储存研究现状17
• 1.3.2 国内云储存研究现状17-18
• 1.4 本文结构安排18-20
• 第2章 云存储系统关键技术20-30
• 2.1 HDFS概述20-21
• 2.2 HDFS的系统架构21-23
• 2.2.1 体系架构21
• 2.2.2 各节点角色及功能分析21-23
• 2.3 HDFS读写机制分析23-25
• 2.3.1 文件的读取23-24
• 2.3.2 文件的写入24-25
• 2.4 HDFS的数据存储技术分析25-27
• 2.4.1 备份策略25-26
• 2.4.2 HDFS的负载均衡机制26
• 2.4.3 HDFS的容错机制26-27
• 2.5 网络文件系统27-29
• 2.5.1 NFS体系结构27-28
• 2.5.2 NFS组件28-29
• 2.6 本章小结29-30
• 第3章 针对小文件存储的优化30-34
• 3.1 小文件存储的问题30
• 3.2 小文件存储的优化方案30-32
• 3.3 仿真实验及分析32-34
• 第4章 云存储系统的设计34-44
• 4.1 系统需求34-36
• 4.1.1 系统总体需求分析34-35
• 4.1.2 系统功能分析35-36
• 4.1.3 系统设计目标36
• 4.2 系统架构36-38
• 4.3 客户端设计38-39
• 4.3.1 Web界面应用38
• 4.3.2 NFS客户端38-39
• 4.4 服务端设计39-43
• 4.4.1 数据访问模块39-40
• 4.4.2 系统数据管理模块40
• 4.4.3 用户管理模块40
• 4.4.4 配额管理模块40
• 4.4.5 系统数据库设计40-43
• 4.5 本章小结43-44
• 第5章 云存储系统的实现44-62
• 5.1 云存储系统环境搭建44-47
• 5.1.1 服务器集群的搭建44-46
• 5.1.2 开发环境搭建46-47
• 5.2 基于Web模式的云储存系统功能实现47-53
• 5.2.1 功能列表47
• 5.2.2 用户登录47-48
• 5.2.3 文件上传48-50
• 5.2.4 文件下载50-51
• 5.2.5 文件共享51-52
• 5.2.6 文件列表浏览52
• 5.2.7 文件搜索52-53
• 5.2.8 文件的其它操作53
• 5.3 基于NFS模式的云存储系统功能实现53-56
• 5.3.1 功能列表53
• 5.3.2 本地挂载53-55
• 5.3.3 文件操作55-56
• 5.4 存储系统展示56-60
• 5.4.1 基于Web模式的云存储系统展示56-58
• 5.4.2 基于NFS模式的云存储系统展示58-59
• 5.4.3 后台管理系统展示59-60
• 5.5 本章小结60-62
• 第6章 系统测试与分析62-66
• 6.1 功能测试与分析62-63
• 6.2 性能测试与分析63-65
• 6.3 本章小结65-66
• 第7章 总结与展望66-68
• 7.1 论文总结66
• 7.2 工作展望66-68
• 参考文献68-70
• 致谢70-72
• 在读期间发表的学术论文与取得的研究成果72

【参考文献】

中国期刊全文数据库 前10条

1 谢谦 ,张立强 ,吴健 ,孙玉芳;Linux标准化国际动态[J];信息技术与标准化;2004年12期

2 杨岳湘;邓文平;邓劲生;李阳;;基于云存储的网盘系统架构及关键技术研究[J];电信科学;2012年10期

3 刘湛;钱薇;李斯波;;网络文件系统的数据一致性研究[J];舰船电子工程;2008年07期

4 周婧;王意洁;阮炜;李思昆;;面向海量数据的数据一致性研究[J];计算机科学;2006年04期

5 刘金芝;余丹;朱率率;;一种新的云存储服务模型研究[J];计算机应用研究;2011年05期

6 刘贝;汤斌;;云存储原理及发展趋势[J];科技信息;2011年05期

7 邓鹏;李枚毅;何诚;;Namenode单点故障解决方案研究[J];计算机工程;2012年21期

8 李林朋;;浅析网盘系统结构中云存储技术[J];信息通信;2013年07期

9 王泰格;邵玉如;杨翌;;分布式存储系统介绍及其数据一致性实现方法探究[J];企业技术开发;2012年22期

10 向华;关于白盒测试基本方法的分析[J];江汉大学学报(自然科学版);2003年01期

，

本文编号：861878