分布式文件系统FastDFS的研究与应用

发布时间：2017-05-09 15:09

  本文关键词：分布式文件系统FastDFS的研究与应用，由笔耕文化传播整理发布。

【摘要】：随着互联网的发展,互联网信息呈指数级别增长。以图片,视频,音频等形式出现的信息增长更为迅速,因此如何来存储和管理这些信息变得越来越难。传统的存储架构已经不能满足要求,通过调查研究发现,可以采用分布式文件存储系统来解决这些问题。 本文在分析比较了国内外的分布式文件存储系统之后,选定了FastDFS作为底层存储系统。该系统可以提供文件存储,访问和管理。本文改进了FastDFS分布式文件系统的负载均衡算法,将考虑的因子由总存储空间变为存储空间利用率,连接数和性能三个因子。实验分三种情况进行,一种是仅考虑存储空间利用率的情况,第二种是考虑存储空间利用率和连接数的情况,第三种是考虑存储空间利用率,连接数和性能的情况。通过实验结果发现三种情况的负载不均衡度分别为0.0010,0.0096和0.01147。改进的负载均衡算法比原算法负载均衡效果更加明显。虽然仅考虑存储空间利用率的算法负载均衡效果最好,但是加入连接数和性能因子之后更符合实际的应用场景。最后针对新的算法做了优化,将首要考虑的因子由存储空间利用率变为性能,虽然负载均衡效果差一些,但是性能得到了保障,符合实际的情况。 本文第二个工作将FastDFS应用于图片处理系统中,使得系统对海量小文件的处理更加的高效,消除了原有图片文件系统中的单点故障问题,而且也提高了访问速度。文章从系统结构设计到关键技术的实现等三个方面介绍了这个图片处理系统。通过模拟实际环境测试,该系统能够很好地满足图片处理系统对接收能力、并发处理能力和实时响应能力、高扩展能力等方面的要求。 本文的图片原型系统来源于东北凯亚有限公司的实际需要。本文改进了FastDFS系统的负载均衡算法,将该分布式文件系统应用于图片处理系统中。实验结果表明,系统性能得到了提升。
【关键词】：分布式存储 FastDFS 负载均衡 图片处理
【学位授予单位】：大连理工大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-9
• 1 绪论9-15
• 1.1 研究背景9-12
• 1.1.1 项目背景9-11
• 1.1.2 技术背景11-12
• 1.2 国内外研究现状12-13
• 1.3 论文的主要内容和组织结构13-15
• 2 分布式系统及相关技术15-26
• 2.1 分布式系统15
• 2.2 企业分布式存储技术15-18
• 2.2.1 GFS系统15-17
• 2.2.2 Mogilefs系统17-18
• 2.3 FastDFS文件系统18-22
• 2.3.1 概述18
• 2.3.2 FastDFS基本架构18-19
• 2.3.3 FastDFS特点19-20
• 2.3.4 FastDFS工作原理20-22
• 2.4 负载均衡技术22-25
• 2.4.1 负载均衡技术概述22
• 2.4.2 负载均衡的分类22-23
• 2.4.3 负载均衡算法23-25
• 2.5 本章小结25-26
• 3 FastDFS的负载均衡算法的研究26-44
• 3.1 负载均衡的定义及意义26
• 3.2 FastDFS负载均衡现有算法26-30
• 3.2.1 参数的定义26-28
• 3.2.2 FastDFS中现有Storage Server选择思想28
• 3.2.3 现有组的评价方式28-29
• 3.2.4 Storage server选择的算法描述29-30
• 3.3 现有算法的问题30
• 3.4 基于FastDFS的性能-负载动态负载均衡30-35
• 3.4.1 参数定义31-32
• 3.4.2 新算法的思想32-33
• 3.4.3 新算法的评价33-34
• 3.4.4 新算法的描述34-35
• 3.5 算法测试35-41
• 3.5.1 测试环境及方法35
• 3.5.2 FastDFS原有算法测试结果35-37
• 3.5.3 新算法的测试结果37-41
• 3.6 新算法的优化41-43
• 3.7 本章小结43-44
• 4 基于FastDFS的图片文件处理服务系统44-52
• 4.1 需求分析44
• 4.2 设计思想44-45
• 4.2.1 分解44
• 4.2.2 重构44-45
• 4.2.3 整合45
• 4.3 系统架构45-46
• 4.3.1 系统架构规划45-46
• 4.3.2 系统软件架构46
• 4.4 系统实现46-48
• 4.4.1 硬件环境46
• 4.4.2 软件环境46
• 4.4.3 核心功能实现46-48
• 4.5 系统部署48-50
• 4.5.1 FastDFS的安装部署48-49
• 4.5.2 ActiveMQ的安装部署49-50
• 4.5.3 部署图片处理系统50
• 4.6 系统测试50-51
• 4.7 本章小结51-52
• 结论52-53
• 参考文献53-55
• 附录A55-61
• 攻读硕士学位期间发表学术论文情况61-62
• 致谢62-63

【参考文献】

中国期刊全文数据库 前5条

1 魏薇,孙世新;XFS日志文件系统的关键技术研究[J];电脑开发与应用;2005年03期

2 余庆;;分布式文件系统FastDFS架构剖析[J];程序员;2010年11期

3 田荣华;卢显良;侯孟书;王晓斌;;P2P分布式存储系统[J];计算机科学;2007年06期

4 黄书强,姚国祥;基于NFS和SMB的异构网络之间资源共享[J];江西科学;2005年03期

5 王友良,叶柏龙;分布式系统中动态负载平衡的研究[J];科学技术与工程;2005年09期

  本文关键词：分布式文件系统FastDFS的研究与应用，，由笔耕文化传播整理发布。

本文编号：352709