分布式文件系统元数据扩展管理研究与实现

发布时间：2017-10-09 19:10

  本文关键词：分布式文件系统元数据扩展管理研究与实现

  更多相关文章： 分布式文件系统 元数据扩展管理系统 域 负载均衡

【摘要】：随着互联网的高速发展,各个行业数据规模越来越大,海量的数据和文件需要被存储,给分布式文件系统带来了巨大的挑战。分布式文件系统中元数据和数据分开存储。元数据管理系统管理元数据,是分布式文件系统中的最关键部分,但是目前的元数据管理系统的管理机制并不能解决当前面临的挑战。基于此,本文提出了一种基于域的元数据扩展管理系统,其中域是元数据的组织单位,是元数据的分割粒度。元数据分割粒度直接影响元数据扩展管理系统的可扩展性.、并发性能、数据一致性和负载均衡。本文通过分析传统的元数据分割技术,认为域作为分割粒度最为合适。 本文提出了与基于域(zone)的元数据分割策略匹配的负载均衡策略,解决域在元数据服务器集群中的分布问题和热点出现时域的迁移问题。当一个新的域需要被分配时,该策略通过哈希分布策略将域随机分布到一台元数据服务器上,保证了域的分布是均匀的。当一台元数据服务器成为访问热点时,该策略会将该台元数据服务器上的元数据按域迁移到负载较低的元数据服务器上,通过迁移元数据,改变用户的访问目的地,充分利用空闲元数据服务器集群的系统资源,进而达到负载均衡的效果。 除此之外,本文还提出了元数据扩展管理系统的可用性保障机制,通过双机热备份机制和基于日志的故障恢复机制保证元数据扩展管理系统的平稳运行。 最后,本文实现了一个基于域(zone)的元数据扩展管理系统原型,并以此实现一个分布式文件系统,通过对系统的测试,证明了基于域的元数据扩展管理系统具有容易扩展、支持高并发以及负载均衡的优点。
【关键词】：分布式文件系统 元数据扩展管理系统 域 负载均衡
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要4-6
• ABSTRACT6-10
• 第一章 绪论10-20
• 1.1 研究背景10-11
• 1.2 国内外现状11-17
• 1.2.1 分布式文件系统现状11-15
• 1.2.2 元数据管理系统的架构演变15-16
• 1.2.3 元数据扩展管理技术16-17
• 1.3 本文主要研究内容17-18
• 1.4 本文的组织18-20
• 第二章 元数据管理系统技术研究20-32
• 2.1 元数据管理策略20-25
• 2.1.1 元数据无分割策略20-21
• 2.1.2 元数据扩展管理策略21-25
• 2.2 元数据分割粒度分析25-27
• 2.3 元数据服务器集群的负载均衡策略27-29
• 2.3.1 负载均衡面临的主要问题27-28
• 2.3.2 常用的负载均衡问题解决方法28
• 2.3.3 负载均衡评价指标28-29
• 2.4 元数据管理的可用性研究29-30
• 2.5 元数据数据一致性保障策略30
• 2.6 本章小结30-32
• 第三章 基于域(zone)的元数据扩展管理系统32-48
• 3.1 基于域(zone)元数据分割策略32-34
• 3.2 基于域(zone)的负载均衡策略34-37
• 3.3 可用性保障策略37-39
• 3.4 基于域(zone)的元数据扩展管理系统的基本架构39-41
• 3.5 基于域(zone)的元数据扩展管理系统中的元数据类型41-43
• 3.6 基于域(zone)的元数据扩展管理系统的工作流程43-47
• 3.6.1 元数据的读写流程43-45
• 3.6.2 负载均衡流程45-46
• 3.6.3 故障恢复流程46-47
• 3.7 本章小结47-48
• 第四章 基于域(zone)的元数据扩展管理系统的实现48-61
• 4.1 SandBox的原型架构48-49
• 4.2 软件设计49-60
• 4.2.1 元数据服务器49-56
• 4.2.2 域(zone)服务器56-57
• 4.2.3 客户端57-58
• 4.2.4 数据服务器58-59
• 4.2.5 备份服务器59-60
• 4.3 本章小结60-61
• 第五章 基于域(zone)的元数据扩展管理系统的测试61-67
• 5.1 测试环境61
• 5.2 测试内容61-65
• 5.2.1 吞吐量测试62-64
• 5.2.2 负载均衡测试64-65
• 5.3 本章小结65-67
• 第六章 总结与展望67-69
• 6.1 总结67-68
• 6.2 展望68-69
• 参考文献69-73
• 附录73-74
• 致谢74-75
• 作者攻读学位期间发表的学术论文目录75

【参考文献】

中国期刊全文数据库 前9条

1 王征;刘心松;李美安;;一种高效的基于可复制资源的分布式负载均衡策略[J];电子学报;2006年08期

2 熊劲,范志华,马捷,唐荣锋,李晖,孟丹;DCFS2的元数据一致性策略[J];计算机研究与发展;2005年06期

3 胡进锋;洪春辉;郑纬民;;一种面向对象的Internet存储服务系统Granary[J];计算机研究与发展;2007年06期

4 田颖,许鲁;分布式文件系统中的负载平衡技术[J];计算机工程;2003年19期

5 刘晓洁;黄永佳;;基于Linux的双机热备系统的实现技术[J];计算机应用研究;2007年04期

6 廖彬;于炯;钱育蓉;杨兴耀;;基于可用性度量的分布式文件系统节点失效恢复算法[J];计算机科学;2013年01期

7 郭莉;刘伟;黄海;;大型分布式存储系统高效元数据管理[J];微计算机信息;2008年09期

8 陈志刚,李登,曾志文;分布式系统中一种动态负载均衡策略、相关模型及算法研究[J];小型微型计算机系统;2002年12期

9 陈志刚,李登,曾志文;分布式系统中动态负载均衡实现模型[J];中南工业大学学报(自然科学版);2001年06期

，

本文编号：1001897