适配海量小文件的分布式文件系统关键技术研究及系统实现

发布时间：2017-08-13 13:43

  本文关键词：适配海量小文件的分布式文件系统关键技术研究及系统实现

  更多相关文章： 分布式文件系统 海量小文件 元数据管理 负载均衡 数据容灾

【摘要】：面对井喷式的大小不一的数据文件,单机存储系统会变得手忙脚乱。对此,国内外工程师们设计了形态各异的分布式文件系统。本文分析了海量小文件的存储问题,剖析了分布式文件系统的数据路由策略与系统架构,总结出在设计适配海量小文件的分布式文件系统过程中有待解决的三个问题。针对元数据的高速读写与容灾扩容的冲突问题,本文提出了分布式内存数据库与传统数据库结合的元数据管理方案。该方案将元数据分散在分布式内存数据库中,在处理好海量小文件存储问题的同时,解除单机内存大小对可容纳文件数量的限制,再使用基于固态硬盘的传统数据库做备份,实现元数据的有效容灾。针对小文件与大文件的共存问题,本文提出了小文件合并大文件分割的存储方案。该方案在优化海量小文件存储的前提下,不影响甚至改良大文件的存储方式,提高系统对大文件读写的吞吐性能,实现系统的通用性。针对存储节点的负载均衡问题,本文提出了基于对等集群架构的动态数据路由策略。该方案使数据副本能均衡分布在性能各异的存储节点中,并对外提供强一致性,在提供友好的容灾与扩容机制的同时,有效解决系统的单点故障问题。基于上述三个关键技术,本文提出了一个适配海量小文件的分布式文件系统架构,并阐述其存储机制、扩容机制与容灾机制,再详细设计并实现了各个功能模块。最后,本文对上述实现的分布式文件系统进行测试实验,主要考察其小文件与大文件的处理情况、容灾情况、系统扩容情况,分析其功能与性能。实验结果表明上述方案确实能够有效地管理海量的大小不一的数据文件。
【关键词】：分布式文件系统 海量小文件 元数据管理 负载均衡 数据容灾
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-12
• 第一章 绪论12-25
• 1.1 研究背景12
• 1.2 国内外研究现状12-22
• 1.2.1 海量小文件存储问题的研究现状13-17
• 1.2.2 分布式数据路由策略的研究现状17-19
• 1.2.3 分布式文件系统架构的研究现状19-22
• 1.3 存在的问题22-23
• 1.3.1 元数据的高速读写与容灾扩容的冲突问题22
• 1.3.2 小文件与大文件的共存问题22
• 1.3.3 存储节点的负载均衡问题22-23
• 1.4 本文完成的工作23-24
• 1.5 本文结构24-25
• 第二章 适配海量小文件的分布式文件系统关键技术25-36
• 2.1 分布式内存数据库与传统数据库结合的元数据管理方案25-27
• 2.1.1 工作原理25-26
• 2.1.2 本方案特性26-27
• 2.2 小文件合并与大文件分割的存储方案27-29
• 2.2.1 本方案特性27-28
• 2.2.2 小文件合并的工作原理28-29
• 2.2.3 大文件分割的工作原理29
• 2.3 基于对等集群架构的动态数据路由策略29-34
• 2.3.1 读操作的路由策略29-31
• 2.3.2 写操作的路由策略31-32
• 2.3.3 读写分离32-33
• 2.3.4 基于主从选举的对等集群架构33-34
• 2.3.5 本方案特性34
• 2.4 本章小结34-36
• 第三章 适配海量小文件的分布式文件系统整体架构36-46
• 3.1 功能需求概述36
• 3.2 系统框架与架构36-39
• 3.3 存储机制39-42
• 3.3.1 元数据读写操作39-40
• 3.3.2 文件数据读操作40-41
• 3.3.3 文件数据写操作41-42
• 3.4 平滑扩容机制42-44
• 3.4.1 存储集群扩容42
• 3.4.2 分布式内存数据库扩容42-43
• 3.4.3 备份数据库分表43-44
• 3.5 容灾机制44-45
• 3.5.1 数据容灾44
• 3.5.2 无单点故障44-45
• 3.6 本章小结45-46
• 第四章 适配海量小文件的分布式文件系统模块实现46-65
• 4.1 系统整体架构46-47
• 4.2 数据库的设计47-51
• 4.2.1 数据库的部署47-48
• 4.2.2 文件元数据表的设计48
• 4.2.3 数据路由信息表的设计48-49
• 4.2.4 Redis的应用49-51
• 4.3 用户接口模块的实现51-54
• 4.3.1 需求分析51-52
• 4.3.2 接口定义52-53
• 4.3.3 内部结构53-54
• 4.4 分布式协调系统的实现54-56
• 4.4.1 需求分析54
• 4.4.2 Zookeeper的应用54-56
• 4.5 代理节点的实现56-62
• 4.5.1 内部结构56-57
• 4.5.2 HTTP服务模块的实现57-59
• 4.5.3 存储节点管理模块的实现59-61
• 4.5.4 其它模块与存储节点管理模块之间的通信61-62
• 4.6 存储节点的实现62-63
• 4.6.1 内部结构62-63
• 4.6.2 文件索引的实现63
• 4.7 负载均衡器的实现63-64
• 4.8 本章小结64-65
• 第五章 系统测试与结果分析65-79
• 5.1 测试目的65
• 5.2 实验环境65-68
• 5.2.1 系统部署65-67
• 5.2.2 测试工具67-68
• 5.3 系统测试68-77
• 5.3.1 基本存储功能测试68-69
• 5.3.2 海量小文件的空间利用率测试69-72
• 5.3.3 小文件读写速率测试72-73
• 5.3.4 大文件读写速率测试73-74
• 5.3.5 容灾测试74-76
• 5.3.6 平滑扩容测试76-77
• 5.4 测试结果分析77
• 5.5 本章小结77-79
• 总结与展望79-81
• 参考文献81-84
• 攻读硕士学位期间取得的研究成果84-85
• 致谢85-87
• 附件87

【参考文献】

中国期刊全文数据库 前5条

1 Alexander Libman;Vladimir Gilbourd;罗小平;;两种高性能I/O设计模式的比较[J];程序员;2007年04期

2 王珊;肖艳芹;刘大为;覃雄派;;内存数据库关键技术研究[J];计算机应用;2007年10期

3 张桂刚;李超;张勇;邢春晓;;一种基于海量信息处理的云存储模型研究[J];计算机研究与发展;2012年S1期

4 王铃惠;李小勇;张轶彬;;海量小文件存储文件系统研究综述[J];计算机应用与软件;2012年08期

5 郑灵翔,刘君尧,陈辉煌;Linux下的负载均衡集群LVS实现分析与测试[J];厦门大学学报(自然科学版);2002年06期

中国博士学位论文全文数据库 前2条

1 刘立坤;海量文件系统元数据查询方法与技术[D];清华大学;2011年

2 项菲;面向环境可靠和体系可靠的云存储关键技术研究[D];北京邮电大学;2013年

中国硕士学位论文全文数据库 前1条

1 梁U_成;面向公有云存储的高并发关键技术研究及系统实现[D];华南理工大学;2013年

，

本文编号：667611