面向大规模数据的分布式存储系统可靠性保障技术研究

发布时间：2017-10-19 23:41

  本文关键词：面向大规模数据的分布式存储系统可靠性保障技术研究

  更多相关文章： 大规模数据 分布式存储 元数据管理 元数据集群 一致性哈希动态副本机制 负载均衡

【摘要】：大规模数据存储面临着数据容量大、数据结构复杂、基础设施异构、失效常态化等问题。高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性具有重要作用。动态的、自适应的副本机制对系统I/O响应性能、容错性和存储利用率有很大影响。现有相关工作在可扩展性、数据迁移、数据结点负载均衡等方面存在一些不足之处。 首先,针对基于哈希的划分和基于子树划分的元数据管理方案扩展代价巨大以及对集群变动敏感等问题,提出一种基于一致性哈希结构的MDS(MetaData Server)集群化方案—CH-MMS。 CH-MMS在一致性MDS集群上引入虚拟MDS,有效平衡MDS集群负载；将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量。阐述了CH-MMS的体系结构,介绍了核心数据结构LayoutTable、虚拟MDS结构、延迟更新机制以及相关算法,并对CH-MMS扩展性、容错性作了定性分析。 其次,针对分布式存储系统中结点失效的不可避免性,在CH-MMS作为元数据服务组件的基础上,提出一种基于文件支持度的文件热度评价模型。该模型通过周期性的参数调整,使其能够自适应系统不断变化的负载状态,尽可能做出反映系统实际状态的副本决策。提出一种数据结点分群算法,根据整体负载状况对数据结点进行划分,避免片面性。在该模型基础上实现数据结点负载均衡调整算法、文件支持度动态调整算法和惰性副本清理算法,达到副本动态自适应调整的目的。 最后,通过理论分析和原型实验,验证了CH-MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求；验证基于文件支持度模型的动态副本机制具有良好的数据结点负载均衡和自适应性。
【关键词】：大规模数据 分布式存储 元数据管理 元数据集群 一致性哈希动态副本机制 负载均衡
【学位授予单位】：广西大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要4-6
• ABSTRACT6-8
• 目录8-10
• 第一章 绪论10-14
• 1.1 研究背景10-12
• 1.2 研究意义与内容12-13
• 1.2.1 研究意义12
• 1.2.2 研究内容12-13
• 1.3 论文组织13-14
• 第二章 海量数据存储及其元数据技术概述14-24
• 2.1 概述14-16
• 2.2 单点元数据服务器16-19
• 2.2.1 GFS的元数据管理管理机制16-17
• 2.2.2 HDFS的元数据管理机制17-18
• 2.2.3 单点MDS的高可用方案18-19
• 2.3 元数据划分19-21
• 2.3.1 基于静态子树的元数据划分19-20
• 2.3.2 基于动态子树的元数据划分20-21
• 2.3.3 基于哈希的元数据划分21
• 2.4 分布式存储容错技术21-22
• 2.4.1 Erasure Code21-22
• 2.4.2 副本冗余策略22
• 2.5 本章小结22-24
• 第三章 基于一致性划分的元数据组织技术24-44
• 3.1 引言24
• 3.2 相关工作24-26
• 3.3 系统架构26-28
• 3.4 MDS布局结构28-30
• 3.5 元数据平衡分布30-33
• 3.6 MDS集群变动33-37
• 3.6.1 MDS失效接管33-35
• 3.6.2 加入MDS35-36
• 3.6.3 移除MDS36-37
• 3.7 延迟更新策略37-38
• 3.8 list语义38
• 3.9 实验分析38-42
• 3.9.1 lookup性能分析39-40
• 3.9.2 元数据分布40-41
• 3.9.3 数据迁移41-42
• 3.10 讨论和分析42-43
• 3.11 本章小结43-44
• 第四章 基于文件支持度模型的动态副本管理机制44-64
• 4.1 引言44-45
• 4.2 相关工作45-46
• 4.3 动态文件支持度评价模型46-52
• 4.3.1 副本管理架构46-47
• 4.3.2 文件支持度计算模型47-51
• 4.3.3 相关系数计算及动态修正51-52
• 4.4 Data Node负载均衡52-54
• 4.5 文件支持度驱动的副本调整54-55
• 4.6 惰性副本清理55-56
• 4.7 实验测试与模型验证56-61
• 4.7.1 负载均衡测试57-59
• 4.7.2 系统响应时间59-61
• 4.7.3 模型动态调整61
• 4.8 讨论和分析61-63
• 4.9 本章小结63-64
• 第五章 总结与展望64-66
• 5.1 工作总结64
• 5.2 未来工作展望64-66
• 参考文献66-72
• 致谢72-73
• 攻读硕士学位期间参加的科研项目73
• 攻读硕士期间发表和录用的学术论文73

【参考文献】

中国期刊全文数据库 前5条

1 陈龙;张天庆;陈宁江;张莉莉;胡丹丹;;可区分服务的反馈式Web应用负载均衡策略[J];广西大学学报(自然科学版);2012年06期

2 汤大权;贺明科;孟庆崧;;基于幂律分布和小世界特性的无结构P2P网络中搜索方法研究[J];计算机研究与发展;2007年09期

3 李国徽,王洪亚,陈基雄,刘云生;支持分布式合作实时事务处理的协同检验点方法[J];计算机学报;2004年09期

4 陈宁江;张莉莉;张文博;;运用云模型评价复合网络情境的方法研究[J];计算机科学与探索;2012年06期

5 覃雄派;王会举;杜小勇;王珊;;大数据分析——RDBMS与MapReduce的竞争与共生[J];软件学报;2012年01期

，

本文编号：1064044