私有云环境下的容灾系统中一致性算法的应用研究

发布时间：2017-05-28 10:04

  本文关键词：私有云环境下的容灾系统中一致性算法的应用研究，由笔耕文化传播整理发布。

【摘要】：云计算的发展为大数据处理提供了新的思路，但云环境的应用成本也给中小型企业带来了很大的负担。于是开源分布式框架Hadoop成为首选，该框架由两个主要部分构成：HDFS和MapReduce。其中HDFS是一个单中心结点的分布式文件系统。为了降低因为单点故障而带来的损失，各个公司都有自己的HDFS HA方案，虽然实施方案不同但它们的核心思想都是采用备机方案。这些方案虽然可以减少HDFS发生单点失效时的损失，但耗时长，同时存在数据丢失的可能。本文在双机热备的基础上提出了一种新的容灾系统，解决了存在的单点问题，同时通过一致性算法保证了数据的完整性，弥补了采用备机方案造成数据丢失的不足。具体而言，论文的主要工作如下： (1)介绍云计算的相关概念、特性和实现方案等，同时详细介绍了开源的分布式系统框架Hadoop和其基本组成部分：HDFS和MapReduce。 (2)研究了几种当前流行的HDFS高可用性方案，这些方案中分热备和冷备两种。结合中心服务器Namenode在HDFS中的地位与作用，提出了新的双机热备、三机协同的HDFS架构。 (3)通过对一致性算法Paxos进行研究分析，设计出适用于三机架构的Paxos算法；并且根据该算法设计出了三机数据同步框架。这样保证即使出现结点失效的情况，系统依然可以有效的对外提供读写访问服务。`(4)通过对HDFS源码进行研究、剖析，修改了其中部分的代码结构，，满足同步框架规范，实现了双中心结点架构，保证了对外服务。 (5)搭建仿真平台，对新容灾系统下双中心服务器的HDFS文件系统的可行性和有效性进行了验证。 本论文为HDFS HA方案提供了新的思路，以双机热备为基础，设计出的三机Paxos架构和数据同步框架具有一定的理论意义和应用价值。
【关键词】：Hadoop 单点故障 HDFS高可用性 Paxos 数据一致性 双机架构
【学位授予单位】：兰州交通大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP3
【目录】：

• 摘要4-5
• Abstract5-9
• 1 绪论9-13
• 1.1 研究背景9-10
• 1.2 国内外研究现状10-11
• 1.3 课题研究意义11
• 1.4 论文组织结构11-13
• 2 云计算和 Hadoop 系统简介13-26
• 2.1 云计算简介13-14
• 2.1.1 云计算的概念与原理13-14
• 2.1.2 云计算特性14
• 2.2 云计算分类14-17
• 2.2.1 按照服务的层次14-15
• 2.2.2 按照云的归属15-16
• 2.2.3 按照实现方法16-17
• 2.3 Hadoop 分布式系统框架概述17-20
• 2.3.1 框架组成18-19
• 2.3.2 体系结构19-20
• 2.3.3 Hadoop 系统特性20
• 2.4 HDFS 概述20-25
• 2.4.1 主从结构描述20-21
• 2.4.2 元数据框架21-23
• 2.4.3 文件 I/O 操作23-25
• 2.4.4 容灾特性分析25
• 2.5 本章小结25-26
• 3 应用场景和算法设计26-37
• 3.1 HDFS 容灾方案介绍26-30
• 3.1.1 P&Secondary Namenode 方案26-27
• 3.1.2 AvatarNode 方案27-28
• 3.1.3 Namenode Federation 方案28-29
• 3.1.4 其余方案29-30
• 3.1.5 上述方案的不足30
• 3.2 双中心服务器方案30-33
• 3.2.1 Namenode 服务器30
• 3.2.2 双中心服务器架构30-31
• 3.2.3 与双机热备方案对比31-33
• 3.3 一致性算法33-36
• 3.3.1 分布式一致性问题描述33
• 3.3.2 Classical Paxos 算法33-35
• 3.3.3 三机 Paxos 算法设计35-36
• 3.4 本章小结36-37
• 4 系统框架设计37-49
• 4.1 目的分析37
• 4.2 整体模块设计37-38
• 4.3 内部数据流程设计38-44
• 4.3.1 写操作38-40
• 4.3.2 读操作40-41
• 4.3.3 同步操作41-43
• 4.3.4 效率优化43-44
• 4.4 结点失效情况分析44-47
• 4.4.1 元数据结点失效44-45
• 4.4.2 仲裁结点失效45
• 4.4.3 结点失效时读写45-46
• 4.4.4 结点失效时的同步操作46-47
• 4.5 同步框架同 Zookeeper 对比47-48
• 4.6 本章小结48-49
• 5 代码改造和仿真测试49-62
• 5.1 关键点分析与改造49-51
• 5.1.1 Namenode 元数据分类50-51
• 5.2 基础类 QuorumImp51-54
• 5.2.1 QuorumImp 接口51-52
• 5.2.2 统一数据类型52-53
• 5.2.3 同步框架实现53-54
• 5.3 通信协议54-56
• 5.3.1 Datanode Protocol55-56
• 5.3.2 Client Protocol56
• 5.4 仿真测试和结果分析56-61
• 5.4.1 测试目的56
• 5.4.2 环境搭建56-58
• 5.4.3 测试结果58-61
• 5.5 本章小结61-62
• 结论62-63
• 致谢63-64
• 参考文献64-66
• 攻读学位期间的研究成果66

【参考文献】

中国期刊全文数据库 前5条

1 王伟;李军锁;张新家;;一种改进的分布式资源共享的互斥控制算法[J];科学技术与工程;2008年02期

2 冯登国;张敏;张妍;徐震;;云计算安全研究[J];软件学报;2011年01期

3 洪澄;张敏;冯登国;;面向云存储的高效动态密文访问控制方法[J];通信学报;2011年07期

4 李伯虎;柴旭东;侯宝存;李潭;张雅彬;余海燕;韩军;邸彦强;黄继杰;宋长峰;唐震;王鹏;施国强;王晓华;;一种基于云计算理念的网络化建模与仿真平台——“云仿真平台”[J];系统仿真学报;2009年17期

5 杨凯;银联数据异地灾难备份架构设计探讨[J];中国金融电脑;2005年09期

  本文关键词：私有云环境下的容灾系统中一致性算法的应用研究，由笔耕文化传播整理发布。

本文编号：402384