云平台下分布式文件系统评测技术研究

发布时间：2017-10-11 07:31

  本文关键词：云平台下分布式文件系统评测技术研究

  更多相关文章： 云计算 分布式文件系统 HDFS TFS 故障注入 容错能力评估

【摘要】：随着云计算技术的不断发展和普及，云存储的概念也应运而生，而分布式文件系统是云存储的核心基础，承载着数据存储的重任。另外一方面，随着社会信息化程度的提高，对于信息和数据的依赖性也越来越大，也就是说数据的可靠性越来越重要。而容错能力是衡量一个系统可靠性的重要标准，系统的容错能力越强，所能提供的服务也就越可靠。因此，对云平台下分布式文件系统的容错能力进行评测具有重要的研究意义。 目前国内外对于云平台下分布式文件系统的研究成果中，关于性能测试与优化的有很多，而涉及容错能力测试的比较少，并且测试手段比较单一。因此有必要针对云分布式文件系统的容错能力测试进行深入的研究。 本文通过对HDFS（Hadoop Distributed File System）和TFS（Taobao FileSystem）这两种典型的云分布式文件系统的体系架构、读写流程和内部的容错机制进行深入的研究，通过对比它们的相同点，提出了一套云平台下分布式文件系统容错能力测试方法。主要就是基于故障注入的思想，设计并实现了一套故障注入工具集，，分别针对云分布式文件系统的节点和进程、文件和目录、数据校验机制、内部互联的网络进行故障注入，模拟现实应用中可能出现的各种类型的故障。 为了验证云平台下分布式文件系统容错能力测试方法的可行性，本文搭建了一个小型的HDFS分布式文件系统，并以HDFS为例，进行相关的故障注入实验。通过观察实验现象和研究日志文件中记录的异常情况，来对HDFS的容错能力进行评测和验证，并对其中不足的地方提出可以改进的方法。
【关键词】：云计算 分布式文件系统 HDFS TFS 故障注入 容错能力评估
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP393.09;TP302.8
【目录】：

• 摘要4-5
• Abstract5-9
• 第1章 绪论9-14
• 1.1 课题背景9-10
• 1.1.1 课题来源9
• 1.1.2 课题目的与意义9-10
• 1.2 国内外研究现状10-13
• 1.2.1 分布式文件系统简介10-11
• 1.2.2 故障注入技术研究现状11-12
• 1.2.3 云平台容错能力评测研究现状12-13
• 1.3 本文结构13-14
• 第2章 云分布式文件系统及其容错机制的研究14-27
• 2.1 分布式文件系统概述14-15
• 2.2 HDFS分布式文件系统及其容错机制的研究15-20
• 2.2.1 HDFS 分布式文件系统15-18
• 2.2.2 HDFS 文件系统容错机制分析18-20
• 2.3 TFS分布式文件系统及其容错机制的研究20-25
• 2.3.1 TFS 分布式文件系统20-24
• 2.3.2 TFS 文件系统容错机制分析24-25
• 2.4 HDFS与TFS的比较25
• 2.5 云平台下分布式文件系统容错能力测试方法25-26
• 2.6 本章小结26-27
• 第3章 云分布式文件系统容错能力测试平台的设计27-33
• 3.1 云分布式文件系统容错能力测试平台框架27-28
• 3.2 节点和进程容错能力测试28-29
• 3.3 文件和目录容错能力测试29-30
• 3.4 数据校验容错能力测试30-31
• 3.5 网络容错能力测试31
• 3.6 MapReduce容错能力测试31-32
• 3.7 本章小结32-33
• 第4章 云分布式文件系统容错能力测试平台的实现33-47
• 4.1 云分布式文件系统故障注入原理图33
• 4.2 节点和进程故障注入工具的设计与实现33-36
• 4.2.1 节点和进程故障注入原理33-35
• 4.2.2 节点和进程故障注入工具的实现35-36
• 4.3 本地文件和目录故障注入工具的设计与实现36-39
• 4.3.1 文件和目录故障注入原理36-37
• 4.3.2 文件和目录故障注入工具的实现37-39
• 4.4 数据校验故障注入工具的设计与实现39-40
• 4.4.1 数据校验故障注入原理39
• 4.4.2 数据校验故障注入工具的实现39-40
• 4.5 网络故障注入工具的设计与实现40-44
• 4.5.1 网络故障注入原理40-42
• 4.5.2 网络故障注入工具的实现42-44
• 4.6 MapReduce故障注入工具的设计与实现44-46
• 4.6.1 MapReduce 任务执行流程44-45
• 4.6.2 MapReduce 故障注入原理45-46
• 4.6.3 MapReduce 故障注入工具的实现46
• 4.7 本章小结46-47
• 第5章 云平台下分布式文件系统容错能力测试实验47-81
• 5.1 测试环境搭建及测试步骤47-49
• 5.1.1 HDFS 和 TFS 环境配置47
• 5.1.2 测试方法47-48
• 5.1.3 主要的故障注入实验48-49
• 5.2 节点和进程容错能力测试49-54
• 5.2.1 NameNode 节点宕机故障注入实验49-50
• 5.2.2 NameNode 进程失效故障注入实验50-51
• 5.2.3 DataNode 节点宕机故障注入实验51-52
• 5.2.4 DataNode 进程失效故障注入实验52-53
• 5.2.5 节点和进程容错能力测试结论53-54
• 5.3 本地文件和目录容错能力测试54-62
• 5.3.1 数据块文件相关操作失效故障注入实验54-56
• 5.3.2 元数据文件相关操作失效故障注入实验56-60
• 5.3.3 日志文件相关操作失效故障注入实验60-62
• 5.3.4 本地文件和目录容错能力测试结论62
• 5.4 数据校验容错能力测试62-65
• 5.4.1 数据块文件故障注入实验63-64
• 5.4.2 校验文件故障注入实验64-65
• 5.4.3 数据校验容错能力测试结论65
• 5.5 网络容错能力测试65-72
• 5.5.1 数据包丢包故障注入实验65-67
• 5.5.2 数据包延迟故障注入实验67-68
• 5.5.3 数据包重复故障注入实验68-69
• 5.5.4 数据包损坏故障注入实验69-71
• 5.5.5 数据包乱序故障注入实验71-72
• 5.5.6 网络容错能力测试结论72
• 5.6 MapReduce容错能力测试72-77
• 5.6.1 JobTracker 进程失效故障注入实验72-73
• 5.6.2 TaskTracker 进程失效故障注入实验73-74
• 5.6.3 Map 任务失效故障注入实验74-76
• 5.6.4 Reduce 任务失效故障注入实验76-77
• 5.6.5 MapReduce 容错能力测试结论77
• 5.7 TFS容错能力测试77-80
• 5.7.1 TFS 数据块读失效容错能力测试77-79
• 5.7.2 TFS 数据块被修改容错能力测试79-80
• 5.7.3 TFS 容错能力测试结论80
• 5.8 本章小结80-81
• 结论81-83
• 参考文献83-88
• 致谢88

【参考文献】

中国期刊全文数据库 前5条

1 史芳丽,周亚莉;Linux系统中虚拟文件系统内核机制研究[J];陕西师范大学学报(自然科学版);2005年01期

2 薄怀祥;;分布式文件系统性能测试软件的设计[J];山东广播电视大学学报;2012年01期

3 谢桂兰;罗省贤;;基于Hadoop MapReduce模型的应用研究[J];微型机与应用;2010年08期

4 杨健;汪海航;王剑;俞定国;;云计算安全问题研究综述[J];小型微型计算机系统;2012年03期

5 孙峻朝,王建莹,杨孝宗;故障注入方法与工具的研究现状[J];宇航学报;2001年01期

本文编号：1011277