基于MooseFS的云存储系统的研究与实现

发布时间：2017-08-04 10:01

  本文关键词：基于MooseFS的云存储系统的研究与实现

  更多相关文章： 云存储 MooseFS 负载均衡 Performance-Load算法

【摘要】：云存储（Cloud Storage）是云计算在概念上的衍生品，所以具有云计算的所有特点。它伴随着云计算的产生而发展，是云计算的存储部分，并且逐渐成为研究热点。负载均衡技术是云计算的关键技术之一，所以将负载均衡技术融入云存储具有重要意义。 MooseFS（Moose File System）是一款具有容错、可扩展、兼容POSIX（PortableOperating System Interface of Unix）标准、多用途功能的分布式文件系统。而且MooseFS是GFS（Google File System）的C语言实现。正是因为MooseFS具有这些性质，所以本文选择MooseFS作为云存储的文件系统。 本文基于广州杰赛科技股份有限公司的项目——云存储软件的研究开发，完成以下工作： 1.通过仔细阅读MooseFS最新源代码（1.6.26），分析MooseFS现有的负载均衡算法存在的问题；在此基础上，提出新的负载均衡算法——基于MooseFS的Performance-Load（PL）动态负载均衡算法，并将PL算法与MooseFS现有负载均衡算法进行分析对比，包括算法效率、实验结果。为了达到更高的性能，对PL算法进行优化。 2.根据实际的项目内容，完成基于MooseFS的云存储系统的集成实现。通过分析将MooseFS云存储系统分为两部分，，第一部分为存储子系统，第二部分为监控子系统。在存储子系统中，设计MooseFS的搭建方案；并在MooseFS基础上实现对元数据服务器的High Availability（HA）；实现自动部署功能；最后对云存储系统进行性能测试。在监控子系统中，分析并设计监控子系统的模块框架，设计并实现存储控制功能模块，最后对存储控制模块进行测试。
【关键词】：云存储 MooseFS 负载均衡 Performance-Load算法
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-7
• 目录7-10
• 第一章 绪论10-18
• 1.1 研究背景及意义10-15
• 1.2 国内外研究现状15-17
• 1.3 课题来源及论文的组织结构17-18
• 第二章 基础知识及相关技术18-30
• 2.1 云的定义18
• 2.1.1 云计算的定义18
• 2.1.2 云存储的定义18
• 2.2 企业云存储技术18-20
• 2.2.1 GFS18-20
• 2.2.2 HDFS20
• 2.3 FUSE20-21
• 2.4 POSIX21
• 2.5 Moose 文件系统21-25
• 2.5.1 概述21-22
• 2.5.2 MooseFS 基本架构22-23
• 2.5.3 MooseFS 特点23
• 2.5.4 MooseFS 工作原理23-25
• 2.6 负载均衡技术25-29
• 2.6.1 负载均衡概述25
• 2.6.2 负载均衡的分类25-27
• 2.6.3 负载均衡算法27-29
• 2.7 本章小结29-30
• 第三章 MooseFS 的负载均衡算法研究30-55
• 3.1 负载均衡的定义及意义30
• 3.2 MooseFS 负载均衡现有算法30-34
• 3.2.1 参数定义30-32
• 3.2.2 MooseFS 中 chunkserver 现有的选择思想32
• 3.2.3 chunkserver 的评价方法32-33
• 3.2.4 chunkserver 选择算法描述33-34
• 3.3 现有算法存在的问题34-35
• 3.4 基于 MooseFS 的 Performance-Load 动态负载均衡算法35-39
• 3.4.1 参数定义35-37
• 3.4.2 PL 算法的思想37-38
• 3.4.3 PL 算法的评价方法38
• 3.4.4 PL 算法描述38-39
• 3.5 算法效率39-42
• 3.5.1 MooseFS 现有负载均衡算法效率分析39-41
• 3.5.2 PL 算法效率分析41-42
• 3.6 算法测试42-51
• 3.6.1 测试环境及方法42-43
• 3.6.2 MooseFS 现有的负载均衡算法测试结果43-44
• 3.6.3 PL 算法测试结果44-51
• 3.7 PL 算法优化51-54
• 3.8 本章小结54-55
• 第四章 基于 MooseFS 的云存储系统集成实现55-80
• 4.1 存储子系统55-71
• 4.1.1 主要任务55
• 4.1.2 MooseFS 选择55-56
• 4.1.3 集群的拓扑结构56
• 4.1.4 项目环境56-59
• 4.1.5 HA 的部署59-60
• 4.1.6 自动部署60-68
• 4.1.7 性能测试68-71
• 4.2 监控子系统71-78
• 4.2.1 系统模块71
• 4.2.2 存储控制模块71-77
• 4.2.3 存储控制功能测试77-78
• 4.3 本章小结78-80
• 第五章 总结与展望80-82
• 5.1 工作总结80
• 5.2 展望80-82
• 致谢82-83
• 参考文献83-87
• 攻硕期间取得的研究成果87-88
• 附录88-93

【参考文献】

中国期刊全文数据库 前10条

1 黎春兰;邓仲华;;信息资源视角下云计算面临的挑战[J];图书与情报;2011年03期

2 黄意安;;存储系统在数字图书馆建设中的应用分析[J];福建图书馆理论与实践;2008年01期

3 李乔;郑啸;;云计算研究现状综述[J];计算机科学;2011年04期

4 韦伟,罗翔;计算机系统集群的负载均衡原理及实现方法[J];计算机时代;2002年07期

5 任宇宁;;云计算时代的存储技术——云存储[J];科技传播;2012年03期

6 刘贝;汤斌;;云存储原理及发展趋势[J];科技信息;2011年05期

7 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

8 袁源;李炳法;杨杰;丁莹;;基于RMI的集中式并行动态负载平衡算法[J];四川大学学报(自然科学版);2006年06期

9 江秋菊;;基于云存储的数字图书馆资源存储[J];图书馆学刊;2012年02期

10 余海燕,郑笑飞;几种负载均衡解决方案的比较[J];信息系统工程;2000年09期

中国硕士学位论文全文数据库 前2条

1 刘同;负载均衡技术在数据库集群系统中的应用与实现[D];国防科学技术大学;2009年

2 陈亮;集群负载均衡关键技术研究[D];中南大学;2009年

本文编号：618925