基于HDFS的云存储系统的实现与优化

发布时间：2017-07-31 04:13

  本文关键词：基于HDFS的云存储系统的实现与优化

  更多相关文章： 云存储 HDFS 小文件存储 高可用性 B/S NFS

【摘要】：随着互联网的高速发展,数据量呈指数级增长,海量数据的存储与分析已成为非常热门的研究领域。Hadoop分布式文件系统HDFS是一个可扩展的分布式文件系统,可以在廉价的硬件上运行,并具有可靠的容错能力,正受到越来越多的企业和科研机构青睐。目前,基于HDFS研发云存储系统、解决大规模数据存储的需求也越来越多。本文研究的正是基于HDFS设计“合肥城市云”存储系统。然而,由于HDFS本身的架构设计,大量的小文件存储会给名字节点Namenode造成巨大的内存压力,从而限制了集群的文件存储数量和读写效率。Namenode的单点故障问题也会影响到HDFS的高可用性。为了解决以上问题,在进行大量调研和学习]HDFS系统架构和内部流程的实现机制的基础上,提出有效解决方案。本文的主要工作如下：1、针对小文件存储问题,提出了ABFM优化方案。根据文件之间的相关性按优先级高低合并后再上传,并生成索引记录。加入随机化思想,采用两级缓存策略,将预提取的小文件缓存在内存池中。系统会定期查询访问日志,动态调整预提取概率。和默认方案、系统自带的HAR方案进行实验对比,结果表明,ABFM策略能有效提高小文件访问效率,降低名字节点和数据节点的内存开销。2、针对Namenode单点故障问题,调研了几种主流的解决方案,最终选取基于QJM的Namenode高可用方案。深入学习该方案的系统架构和内部原理,详细描述了搭建过程,并给出了搭建成功后的系统界面效果展示。3、结合企业需求,设计并实现了基于高可用HDFS的“合肥城市云”存储系统。系统共有三个模块,分别是加入了小文件优化方案的B/S访问模块、NFS访问模块和后台管理系统模块。用户可以通过B/S模式和NFS模式访问云存储系统。系统管理员能够对用户进行安全认证、配额管理、冻结和解冻以及处理扩容请求等操作,有效弥补了]HDFS这些方面的不足,方便企业、用户使用和管理。4、采用黑盒测试方法,对“合肥城市云”系统的B/S访问模式和NFS访问模式进行功能测试和性能测试,保证系统能够满足设计需求。分析这两者在文件上传和文件下载性能差异的原因,证实作者的优化策略的有效性。综上,本文提出了ABFM优化方案,有效解决]HDFS存储海量小文件的性能问题；搭建基于QJM的Namenode高可用方案,保证HDFS的高可用性；并基于此设计和实现了“合肥城市云”存储系统,为科大国祯(城市云数据中心)提供高效、稳定地数据存储和管理服务。
【关键词】：云存储 HDFS 小文件存储 高可用性 B/S NFS
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-15
• 第1章 绪论15-21
• 1.1 研究背景15-17
• 1.1.1 云存储的概念15
• 1.1.2 云存储的优势15-17
• 1.2 研究内容和意义17-18
• 1.2.1 研究内容17
• 1.2.2 研究意义17-18
• 1.3 研究现状18-19
• 1.4 本文结构安排19-21
• 第2章 HDFS系统介绍21-31
• 2.1 HDFS系统概述21-24
• 2.1.1 体系结构21-22
• 2.1.2 模块介绍22-23
• 2.1.3 主要特性23-24
• 2.2 要流程分析24-28
• 2.2.1 客户端元数据操作24
• 2.2.2 客户端读文件24-25
• 2.2.3 客户端写文件25-27
• 2.2.4 Datanode的启动和心跳机制27
• 2.2.5 Secondary Namenode合并元数据27-28
• 2.3 存储技术分析28-30
• 2.3.1 HDFS的备份策略28-29
• 2.3.2 HDFS的容错机制29
• 2.3.3 HDFS的负载均衡29-30
• 2.4 HDFS存在的缺陷30
• 2.4.1 Namenode内存限制问题30
• 2.4.2 Namenode单点故障问题30
• 2.5 本章小结30-31
• 第3章 小文件存储问题优化31-45
• 3.1 小文件存储问题31
• 3.2 Hadoop自带的方案31-33
• 3.2.1 Hadoop Archive31-32
• 3.2.2 Sequence File和Map File32-33
• 3.3 ABFM优化方案33-40
• 3.3.1 文件合并策略33
• 3.3.2 索引文件33-34
• 3.3.3 缓存策略34-35
• 3.3.4 动态调整策略35-36
• 3.3.5 系统实现36-40
• 3.4 实验结果对比及分析40-45
• 3.4.1 实验环境40
• 3.4.2 实验数据集40-41
• 3.4.3 实验结果对比41-43
• 3.4.4 总结分析43-45
• 第4章 Namenode高可用方案45-55
• 4.1 Namenode单一故障问题45-46
• 4.1.1 问题分析45
• 4.1.2 解决方案对比45-46
• 4.2 基于QJM的Namenode高可用方案46-51
• 4.2.1 集群架构介绍46-47
• 4.2.2 QJM共享存储结构介绍47-48
• 4.2.3 Namenode主备切换实现分析48-49
• 4.2.4 QJM共享存储实现分析49-51
• 4.3 集群搭建与效果展示51-54
• 4.4 本章小结54-55
• 第5章 “合肥城市云”系统设计与展示55-73
• 5.1 云存储平台架构设计55-57
• 5.1.1 总体框架55-56
• 5.1.2 B/S模式对比NFS模式56-57
• 5.2 云存储平台环境搭建57-58
• 5.2.1 Hadoop集群搭建57
• 5.2.2 Web服务器集群搭建57-58
• 5.3 B/S模式的功能及实现58-64
• 5.3.1 功能列表58-60
• 5.3.2 文件上传60-61
• 5.3.3 文件下载61-62
• 5.3.4 文件共享62-63
• 5.3.5 文件搜索63-64
• 5.3.6 文件的其他操作64
• 5.4 NFS模式的功能及实现64-65
• 5.4.1 功能列表64
• 5.4.2 用户目录挂载64-65
• 5.4.3 文件操作65
• 5.5 云存储平台系统展示65-71
• 5.5.1 B/S模式云存储平台展示65-68
• 5.5.2 B/S模式管理系统展示68-69
• 5.5.3 NFS模式云存储平台展示69-71
• 5.6 本章小结71-73
• 第6章 系统测试与分析73-79
• 6.1 测试方法介绍73
• 6.2 功能测试与分析73-74
• 6.2.1 登陆功能测试73
• 6.2.2 文件上传功能测试73-74
• 6.2.3 文件下载功能测试74
• 6.3 性能测试与分析74-77
• 6.3.1 文件上传性能测试75-76
• 6.3.2 文件下载性能测试76-77
• 6.4 本章小结77-79
• 第7章 总结与展望79-81
• 7.1 论文总结79-80
• 7.2 工作展望80-81
• 参考文献81-85
• 致谢85-87
• 在读期间发表的学术论文与取得的研究成果87

【参考文献】

中国期刊全文数据库 前7条

1 洪旭升;林世平;;基于MapFile的HDFS小文件存储效率问题[J];计算机系统应用;2012年11期

2 张春明;芮建武;何婷婷;;一种Hadoop小文件存储和读取的方法[J];计算机应用与软件;2012年11期

3 邓鹏;李枚毅;何诚;;Namenode单点故障解决方案研究[J];计算机工程;2012年21期

4 刘金芝;余丹;朱率率;;一种新的云存储服务模型研究[J];计算机应用研究;2011年05期

5 刘贝;汤斌;;云存储原理及发展趋势[J];科技信息;2011年05期

6 谢谦 ,张立强 ,吴健 ,孙玉芳;Linux标准化国际动态[J];信息技术与标准化;2004年12期

7 向华;关于白盒测试基本方法的分析[J];江汉大学学报(自然科学版);2003年01期

中国硕士学位论文全文数据库 前7条

1 王勇涛;基于POSIX语义的分布式文件系统客户端设计与实现[D];电子科技大学;2013年

2 王永洲;基于HDFS的存储技术的研究[D];南京邮电大学;2013年

3 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年

4 陈虎;基于HDFS的云存储平台的优化与实现[D];华南理工大学;2012年

5 付东华;基于HDFS的海量分布式文件系统的研究与优化[D];北京邮电大学;2012年

6 童明;基于HDFS的分布式存储研究与应用[D];华中科技大学;2012年

7 阮航;基于NAS的网络文件安全存储系统的设计与实现[D];东北大学;2011年

，

本文编号：597411