云存储中基于动态多中心的分布式文件系统研究

发布时间：2017-07-17 10:38

  本文关键词：云存储中基于动态多中心的分布式文件系统研究

  更多相关文章： 云存储 分布式文件系统 元数据 单节点瓶颈 负载均衡 数据同步

【摘要】：在大数据时代，，云存储是数据挖掘、分析和研究的基础，成为研究的热点问题。分布式文件系统作为云存储中的重要核心，有了新的研究价值。本文综合分析了国内外关于分布式文件系统的研究现状，以增加系统的可靠性与吞吐量为目标，提出了一种基于动态多中心的分布式文件系统架构模型，并针对其中涉及到的关键技术进行了深入研究。 首先，针对集中式元数据服务模型存在的单节点失效与单节点瓶颈问题，设计了一种基于动态多中心的分布式文件系统的架构模型。该模型通过采用全对等式的元数据服务模型来提高系统的可靠性与吞吐量。采用N重Hash与分层思想相结合的方法来组织元数据在内存中的存储结构，使用日志策略对元数据进行持久化，并提出了一种基于三重循环链式的故障切换方案。 其次，对新模型中的元数据服务器之间的负载均衡问题进行了分析与研究，针对新模型中负载任务的特点，提出了一种带“参谋”的动态自适应负载平衡策略。该策略将负载均衡器与客户端解耦合，收集不同的负载信息指标，并赋予不同权值来处理负载信息，通过自适应的阈值来判定系统的负载状态。 最后，对新模型中多节点之间的数据同步问题进行了分析与研究，针对经典的Paxos算法存在的“活锁”问题，提出了一种带Leader选举的Paxos算法；为解决系统中存在的“不一致性窗口时间”的问题，在Paxos算法的基础上提出了一种数据同步方案，该方案采用周期性同步与随机性同步相结合的策略，并设计实现了一个数据一致性原型系统。
【关键词】：云存储 分布式文件系统 元数据 单节点瓶颈 负载均衡 数据同步
【学位授予单位】：燕山大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要5-6
• Abstract6-9
• 第1章 绪论9-15
• 1.1 研究背景及意义9-11
• 1.2 国内外研究现状11-13
• 1.3 本文主要研究内容13-14
• 1.4 论文结构安排14-15
• 第2章 相关知识概述15-24
• 2.1 引言15
• 2.2 典型的分布式文件系统架构15-18
• 2.2.1 HDFS 的主要特性15-16
• 2.2.2 HDFS 的体系结构16-17
• 2.2.3 HDFS 的工作流程17-18
• 2.2.4 HDFS 评价18
• 2.3 负载均衡相关知识18-20
• 2.3.1 负载均衡策略分类18-20
• 2.3.2 负载均衡评价标准20
• 2.4 分布式数据一致性与 Paxos 算法20-23
• 2.4.1 分布式数据一致性20-21
• 2.4.2 Paxos 算法21-23
• 2.5 本章小结23-24
• 第3章 基于动态多中心的 MDS 架构设计24-40
• 3.1 引言24
• 3.2 基于动态多中心的 MDS 模型架构设计24-28
• 3.2.1 动态多中心的元数据管理模型设计目标24-25
• 3.2.2 动态多中心架构模型整体设计25-27
• 3.2.3 动态多中心架构模型工作流程27-28
• 3.3 动态多中心模型架构关键技术28-34
• 3.3.1 动态多中心模型元数据模块设计28-32
• 3.3.2 可靠性保证策略32-34
• 3.4 动态多中心架构模型性能分析34-39
• 3.4.1 可靠性建模与分析34-38
• 3.4.2 吞吐量建模与分析38-39
• 3.4.3 动态多中心架构模型存在的问题分析39
• 3.5 本章小结39-40
• 第4章 动态多中心模型负载均衡问题及解决方案40-54
• 4.1 引言40
• 4.2 动态多中心架构模型负载均衡问题的特点40-41
• 4.3 动态自适应负载均衡策略41-47
• 4.3.1 负载信息收集与处理43-45
• 4.3.2 负载状态评价45
• 4.3.3 负载任务迁移45-47
• 4.3.4 算法流程47
• 4.4 负载均衡策略可行性分析47-48
• 4.5 系统模型构建与仿真结果分析48-53
• 4.5.1 实验环境48
• 4.5.2 系统模型构建48-50
• 4.5.3 业务创建与统计量收集50-51
• 4.5.4 仿真结果分析51-53
• 4.6 本章小结53-54
• 第5章 动态多中心模型数据一致性问题及解决方案54-68
• 5.1 引言54
• 5.2 基于 Paxos 算法的数据同步方案54-60
• 5.2.1 数据一致性问题分析54-55
• 5.2.2 Leader 选举算法55-58
• 5.2.3 数据同步方案58-60
• 5.3 多节点数据一致性原型系统的设计与实现60-66
• 5.3.1 原型系统设计与实现60-63
• 5.3.2 原型系统测试63-66
• 5.3.3 系统测试结果分析66
• 5.4 本章小结66-68
• 结论68-70
• 参考文献70-74
• 攻读硕士学位期间承担的科研任务与主要成果74-75
• 致谢75-76
• 作者简介76

【参考文献】

中国期刊全文数据库 前9条

1 杨际祥;谭国真;王荣生;;并行与分布式计算动态负载均衡策略综述[J];电子学报;2010年05期

2 吴吉义;傅建庆;平玲娣;谢琪;;一种对等结构的云存储系统研究[J];电子学报;2011年05期

3 周婧;王意洁;阮炜;李思昆;;面向海量数据的数据一致性研究[J];计算机科学;2006年04期

4 钟志伟，王广芳，赵先武;分布式计算机系统（DCS）负载平衡算法20年[J];计算机工程;1995年06期

5 曹蓟光,王申康;元数据管理策略的比较研究[J];计算机应用;2001年02期

6 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

7 侯建;帅仁俊;侯文;;基于云计算的海量数据存储模型[J];通信技术;2011年05期

8 吕骥;张尧学;周悦芝;;云计算环境中P2P计算的优化组织模型[J];清华大学学报(自然科学版);2011年11期

9 陈如明;;大数据时代的挑战、价值与应对策略[J];移动通信;2012年17期

本文编号：553229