HDFS优化研究及其在云存储平台中应用

发布时间：2017-07-30 05:13

  本文关键词：HDFS优化研究及其在云存储平台中应用

  更多相关文章： 分布式文件系统 HDFS namenode瓶颈 datanode集群

【摘要】：随着信息化时代的发展，人们更多的依赖网络，导致互联网用户的激增，网络信息数据量呈爆炸式增长，这些数据中有百分之八十是文件图像音频等大文件，数据量甚至会达到PB级如此海量的数据存储成为当前研究的热点，也逐渐地成为制约企业长足发展的问题于是，构建高可用的存储网络成为当下的研究热门，分布式文件存储系统便应运而生HDFS运用于海量数据存储的场景，但是在架构上仍存在不足，，因此，本文提出一种改进的方案并将优化后的HDFS应用到实际场景中所做的主要工作如下： 首先，针对HDFS的单一namenode架构问题，提出搭建datanode集群的优化方案在该方案中搭建datanode集群，每个小集群中都有一个namenode管理集群中的各datanode，同时将namenode中文件元数据信息缓存到datanode集群中，这样就减少了客户端与namenode的交互所带来的namenode的内存压力优化后的HDFS中会包括多个namenode，其中某一个集群中的namenode失效也不会导致整个HDFS瘫痪此外，设计了索引服务，管理文件到namenode的映射，从而在架构上提升整体HDFS的性能 其次，搭建优化后的HDFS集群并实际应用到基于云计算的高校综合信息管理平台，解决了平台上各应用的文件存储问题在优化后的HDFS集群上用java语言设计实现了供各应用存储的HDFS存储服务和RMI远程调用存储服务为了将平台上各应用上传的文件进行统一管理，使用ZK+Spring+Struts+Hibernate(ZSSH)框架java语言设计实现了平台文件管理存储系统 最后，使用JMeter测试工具对优化前后HDFS集群进行测试通过在相同并发情况下成功上传文件的响应时间对比进行分析实验结果表明在大并发量的情况下上传文件，优化后的HDFS响应时间更短， HDFS的性能得到一定改善
【关键词】：分布式文件系统 HDFS namenode瓶颈 datanode集群
【学位授予单位】：河北工业大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 绪论8-14
• 1.1 研究背景及意义8-9
• 1.2 国内外研究现状9-11
• 1.2.1 国外研究现状9-10
• 1.2.2 国内研究现状10-11
• 1.3 论文主要内容11
• 1.4 论文组织结构11-14
• 第二章 存储相关知识14-32
• 2.1 存储技术发展14-21
• 2.1.1 DAS14-15
• 2.1.2 NAS15-16
• 2.1.3 SAN16-17
• 2.1.4 集群存储17-18
• 2.1.5 基于 P2P 分布式存储18
• 2.1.6 云存储技术18-20
• 2.1.7 分布式存储发展20-21
• 2.2 分布式文件系统21-23
• 2.2.1 基础架构21-22
• 2.2.2 元数据的管理22-23
• 2.2.3 系统缓存23
• 2.3 几个分布式文件系统介绍23-29
• 2.3.1 MapReduce 技术介绍23-25
• 2.3.2 GFS25-27
• 2.3.3 Hadoop 的 MapReduce 计算模型27
• 2.3.4 Hadoop 的分布式文件系统 HDFS27-28
• 2.3.5 GFS 与 HDFS 比较28-29
• 2.4 本章小结29-32
• 第三章 HDFS 分析与优化32-48
• 3.1 HDFS 架构分析32-33
• 3.2 HDFS 数据组织方式33-38
• 3.2.1 本地数据块的组织方式33-34
• 3.2.2 数据层次分析34-36
• 3.2.3 HDFS 通信分析36-38
• 3.3 HDFS 文件下载分析38-42
• 3.4 HDFS 不足42-43
• 3.5 HDFS 优化43-45
• 3.6 本章小结45-48
• 第四章 基于优化的 HDFS 云存储系统设计与实现48-68
• 4.1 系统应用背景48-50
• 4.2 HDFS 优化搭建50-53
• 4.2.1 搭建技术50-52
• 4.2.2 HDFS 优化搭建52-53
• 4.3 平台文件存储服务设计与实现53-57
• 4.3.1 HDFS 服务54-55
• 4.3.2 平台文件存储服务55-56
• 4.3.3 文件存储 RMI 远程调用服务56-57
• 4.4 平台文件存储系统设计与实现57-62
• 4.4.1 平台文件存储系统概述57
• 4.4.2 系统框架设计57-58
• 4.4.3 系统数据库设计58-60
• 4.4.4 系统主要模块设计60-62
• 4.5 优化后 HDFS 性能测试62-66
• 4.5.1 性能测试62-65
• 4.5.2 实验内容与结果分析65-66
• 4.6 本章小结66-68
• 第五章 总结与展望68-70
• 5.1 总结68-69
• 5.2 展望69-70
• 参考文献70-74
• 攻读学位期间所取得的相关科研成果74-76
• 致谢76-77

【相似文献】

中国期刊全文数据库 前10条

1 寒江约叟;N个资源一次看——分布式文件系统妙用[J];电脑应用文萃;2004年07期

2 黄华;张建刚;许鲁;;蓝鲸分布式文件系统的客户端元数据缓存模型[J];计算机科学;2005年09期

3 黄华;张敬亮;张建刚;许鲁;;蓝鲸分布式文件系统的物理资源管理模型[J];计算机工程;2006年06期

4 姚毓才;张琳娜;;浅析分布式文件系统原理及改进[J];铜陵学院学报;2008年06期

5 刘光博;;分布式文件系统在气象业务中的应用初探[J];气象研究与应用;2009年01期

6 岳卫荣;;浅谈分布式文件系统的使用[J];河南农业;2009年14期

7 何公明;许严;;高性能分布式文件系统相关技术研究[J];有线电视技术;2009年12期

8 薛志强;刘鹏;文艾;周游;许闯;;分布式文件系统管理策略研究[J];电脑知识与技术;2011年01期

9 田怡萌;李小勇;刘海涛;;分布式文件系统副本一致性检测研究[J];计算机研究与发展;2012年S1期

10 熊文;喻之斌;须成忠;;几个常见分布式文件系统特征分析和性能对比(英文)[J];集成技术;2012年04期

中国重要会议论文全文数据库 前4条

1 华清;黄林鹏;;基于分片、松耦合的分布式文件系统的设计与实现[A];2006年全国开放式分布与并行计算学术会议论文集（二）[C];2006年

2 洪穗;;微软WINDOWS Server 2003 R2分布式文件系统解决方案分析[A];中国新闻技术工作者联合会2008年学术年会论文集（上）[C];2008年

3 罗志明;张大华;王电钢;常健;;电力分布式云存储关键技术研究[A];2012年电力通信管理暨智能电网通信技术论坛论文集[C];2013年

4 徐文斌;;大数据时代的交管综合应用云平台[A];第八届中国智能交通年会论文集[C];2013年

中国重要报纸全文数据库 前10条

1 国家高性能计算机工程技术研究中心 黄华 杨德志 张建刚;分布式文件系统的历史与现状[N];中国计算机报;2005年

2 国家高性能计算机工程技术研究中心 黄华 杨德志 张建刚;分布式文件系统趋向成熟[N];中国计算机报;2005年

3 国防科学技术大学计算机学院软件所 董勇 周恩强;构建分布式文件系统[N];中国计算机报;2005年

4 ;分布式文件系统一瞥[N];网络世界;2002年

5 王春海 刘立;分布式文件系统在网络中的应用[N];电脑报;2004年

6 ;Hadoop：为构建海量数据架构而生[N];人民邮电;2012年

7 本报记者 于翔;“大数据”的大承诺[N];网络世界;2010年

8 IBM大数据专家 James Kobielus　范范 编译;YARN动摇了MapReduce对Hadoop的掌控[N];网络世界;2013年

9 张力平;云计算和物联网的美妙融合[N];学习时报;2014年

10 《网络世界》记者 于翔;大数据治理多管齐下[N];网络世界;2012年

中国博士学位论文全文数据库 前4条

1 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年

2 史小冬;分布式文件系统高可用问题研究[D];中国科学院研究生院（计算技术研究所）;2002年

3 黄华;蓝鲸分布式文件系统的资源管理[D];中国科学院研究生院（计算技术研究所）;2005年

4 杨德志;分布式文件系统可扩展元数据服务关键问题研究[D];中国科学院研究生院（计算技术研究所）;2008年

中国硕士学位论文全文数据库 前10条

1 常乾;基于网络编码的分布式文件系统设计与实现[D];中国科学技术大学;2010年

2 龚高晟;通用分布式文件系统的研究与改进[D];华南理工大学;2010年

3 周涛;分布式文件系统的研究[D];电子科技大学;2005年

4 林凌;大规模分布式文件系统的研究与实现[D];福州大学;2006年

5 胡雨壮;分布式文件系统吞吐率优化研究[D];中国科学院研究生院（计算技术研究所）;2002年

6 孙莉娜;基于网络的分布式文件系统初探[D];天津大学;2006年

7 吴晨涛;分布式文件系统中对象存储目标镜像的设计与实现[D];华中科技大学;2006年

8 程名;面向海量数据的分布式文件系统设计和实现[D];华中科技大学;2010年

9 张红林;分布式文件系统中集中安全管理服务器设计与实现[D];华中科技大学;2011年

10 谷方舟;云计算环境中分布式文件系统的负载均衡问题研究[D];北京交通大学;2012年

本文编号：592646