高扩展性的海量存储文件系统设计与实现

发布时间：2017-09-12 18:33

  本文关键词：高扩展性的海量存储文件系统设计与实现

  更多相关文章： 元数据管理 子树分割 可扩展性 事务处理 分布式文件系统

【摘要】：随着大数据时代的到来，数据规模增长迅速，数据的应用模式也越来越多样，这自然给存储系统的发展带来了新的机遇和挑战。采用纵向扩展模式来对存储系统进行扩容的传统方法，已经越来越无法满足具体应用在存储规模、并发性能与成本等方面的要求；而通过良好的分布式调度策略来集成大量商品机器的横向扩展模式却能取得奇效。 碧海文件系统正是采用横向扩展模式的大规模分布式文件系统，它能良好的作为Hadoop之类的批处理框架的底层存储堆栈，然而当它应用于通用存储环境时，却存在着扩展性、可用性和并发性的不足，而其中扩展性不足的问题更是阻碍了碧海文件系统的发展。这些不足大都来源于元数据节点的单点架构，因而本课题尝试着使用分布式元数据节点的方式来解决上述不足。 具体的工作内容为：对目录树进行子树分割，从而将元数据布局在不同的节点之上；设计了监控节点，监控节点能够仲裁元数据节点的状态，收集并分发子树信息，以及增减元数据节点集群的规模；优化了数据节点与元数据节点的通信模型，避免了重命名操作造成文件数据的移动；规范了分布式元数据节点的事务处理方式，使元数据信息可以高可靠地在不同节点之间移动。 测试表明，通过以上的改进，，碧海文件系统的扩展性有了较为显著的提升，并且较好的支持监控协议和分布式事务。
【关键词】：元数据管理 子树分割 可扩展性 事务处理 分布式文件系统
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要5-7
• ABSTRACT7-9
• 目录9-12
• 图录12-14
• 表录14-15
• 第一章 绪论15-19
• 1.1 研究背景15-16
• 1.2 研究领域的现状16-17
• 1.3 研究内容及意义17-18
• 1.4 论文结构18-19
• 第二章 典型分布式文件系统的介绍19-29
• 2.1 NFS19-22
• 2.2 Google File System22-24
• 2.3 GlusterFS24-26
• 2.4 Ceph26-28
• 2.5 本章小结28-29
• 第三章 碧海文件系统的介绍29-43
• 3.1 元数据节点的元数据存储机制介绍29-31
• 3.2 元数据节点的集群监控和负载均衡机制介绍31-32
• 3.3 元数据节点的元数据信息持久化机制介绍32-33
• 3.4 元数据节点的租约机制介绍33-34
• 3.5 数据节点的总体架构介绍34-36
• 3.6 客户端与数据节点的交互介绍36-39
• 3.7 异步框架介绍39-42
• 3.8 本章小结42-43
• 第四章 分布式元数据节点的改进方案43-86
• 4.1 改进方案的总体分析43-47
• 4.1.1 分割方案的探讨与选择43-44
• 4.1.2 分布式元数据节点的架构44-46
• 4.1.3 子树分割46-47
• 4.2 监控协议的设计分析47-62
• 4.2.1 监控节点层的架构47-48
• 4.2.2 Paxos 算法的介绍与简化48-52
• 4.2.3 状态信息表和监控协议52-56
• 4.2.4 监控协议实现中的工程问题56-57
• 4.2.5 监控协议的性质分析57-59
• 4.2.6 子树信息表和子树界限路径表59-61
• 4.2.7 元数据节点的启动和退休流程61-62
• 4.3 监控协议的实现方案62-67
• 4.3.1 监控协议的总体实现框架62-63
• 4.3.2 监控协议线程模块的具体介绍63-65
• 4.3.3 监控协议所涉及的其他相关模块的具体介绍65-67
• 4.4 分布式事务的设计分析67-79
• 4.4.1 碧海文件系统的事务特性分析68-70
• 4.4.2 事务的具体流程和高性能处理框架70-75
• 4.4.3 数据节点的汇报协议75-77
• 4.4.4 客户端的查询优化77-79
• 4.5 分布式事务的实现方案79-85
• 4.5.1 分布式事务的总体实现框架79-80
• 4.5.2 事务处理线程模块的具体介绍80-81
• 4.5.3 分布式事务所涉及的其他相关模块的具体介绍81-82
• 4.5.4 数据节点和客户端主要模块的介绍82-85
• 4.6 本章小结85-86
• 第五章 系统的评估与验证86-101
• 5.1 评估和验证的目的与环境86-87
• 5.2 分布式事务的执行效果验证87-93
• 5.2.1 正常状态下分布式事务效果的验证方案87-90
• 5.2.2 异常状态下分布式事务效果的验证方案90-91
• 5.2.3 分布式事务验证实验的结果汇总与分析91-93
• 5.3 监控协议的执行效果验证93-98
• 5.3.1 正常状态下监控协议效果的验证方案93-94
• 5.3.2 异常状态下监控协议效果的验证方案94-95
• 5.3.3 监控协议验证实验的结果汇总与分析95-98
• 5.4 系统扩展性的评估98-100
• 5.4.1 系统扩展性的评估方案98-99
• 5.4.2 系统扩展性评估结果的分析99-100
• 5.5 本章小结100-101
• 第六章 总结与展望101-103
• 6.1 本文总结101
• 6.2 不足与展望101-103
• 致谢103-104
• 参考文献104-108
• 攻读硕士学位期间已发表或录用的论文108

【参考文献】

中国期刊全文数据库 前2条

1 ;2011年世界建筑节[J];世界建筑;2011年12期

2 付长冬,舒继武,沈美明,郑纬民;网络存储体系结构的发展和研究[J];小型微型计算机系统;2004年04期

本文编号：838857