基于FastDFS云存储系统的研究与设计

发布时间：2017-08-08 02:10

  本文关键词：基于FastDFS云存储系统的研究与设计

  更多相关文章： 云存储 FastDFS 分布式文件系统

【摘要】：随着信息技术的飞速发展,大量的数据需要进行存储,为了解决这种问题,企业往往需要购买大量的存储设备,这不但需要很高的成本,而且大量的数据管理困难,不易维护,这种方式暴露出种种的弊端。云存储作为一种随着云计算而发展出来的一种技术,其关注的重心恰恰是海量数据的存储和管理,同时因为具备弹性扩展、方便海量数据管理以及低成本等特点,被认为是未来数据存储的较好选择。它使用了分布式文件系统和集群等多种技术,将分散在网络中的类型各异的存储设备整合在一起,作为一个整体提供数据的存储和接入访问。而对于用户来说,使用云存储随时随地都可以通过网络访问云上的资源。FastDFS是一款由国人研发并且开放源码的分布式文件系统,在类UNIX系统上能很好的工作。对比其他的分布式文件系统,它的优势是量级较轻,满足高并发访问的需求,容易扩展,具备负载均衡功能,并且能自动进行文件同步。另外对小文件的存储性能较好。本文在教研室现有的云平台基础之上,探索一种以FastDFS为基础的云存储方式。本文首先对FastDFS的系统架构、运行以及同步机制进行了研究。其次从功能和性能两个方面对系统展开需求分析。在借鉴云存储的典型架构模型的基础之上,设计了基于FastDFS的云存储系统的总体架构。自顶向下分别是用户访问层、应用接口层、管理层以及数据存储层。然后依据需求分析以及总体架构对系统的各个层次进行了详细的设计与实现,在用户访问层,采用B/S模式,结合Bootstrap开源框架设计了用户界面。在应用接口层,对用户访问时的负载均衡进行了研究,并设计了REST API接口。在管理层实现需求分析中提出的功能需求,如普通用户对文件上传、下载、删除以及文件夹的各种操作,系统管理员对于用户的管理和集群的监控等。同时,研究了FastDFS原有的集群监控原理,增加了对CPU、内存使用、磁盘读写以及网络I/O的监控;研究了FastDFS调度算法,分析其存在的缺陷和不足,并提出了动态负载均衡算法。在管理层和存储集群之间,使用epoll和线程池的方式设计了接口服务器,能够及时响应大量的并发请求,满足系统对性能的要求,并且重新定义了FastDFS API接口,将其封装到线程池的任务处理逻辑中。本文最后对整个系统进行了功能和性能方面的测试,证明基于FastDFS的云存储系统满足预期的设计要求。
【关键词】：云存储 FastDFS 分布式文件系统
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 绪论11-16
• 1.1 研究工作的背景与意义11-12
• 1.2 国内外研究现状12-14
• 1.2.1 国外研究现状12-13
• 1.2.2 国内研究现状13-14
• 1.3 本文的主要内容与工作14-15
• 1.4 论文的组织结构15-16
• 第二章 相关理论知识研究16-25
• 2.1 云存储概述16-17
• 2.1.1 云存储简介16
• 2.1.2 云存储架构模型及关键技术16-17
• 2.2 FastDFS研究17-24
• 2.2.1 FastDFS架构18-19
• 2.2.2 FastDFS运行机制19-22
• 2.2.3 FastDFS同步机制22-23
• 2.2.4 FastDFS与其他文件系统对比23-24
• 2.3 本章小结24-25
• 第三章 云存储系统的分析与总体设计25-46
• 3.1 系统需求分析25-27
• 3.1.1 功能需求分析25-26
• 3.1.2 性能需求分析26-27
• 3.2 云存储系统的总体设计27-29
• 3.2.1 系统架构27-28
• 3.2.2 主要功能模块28-29
• 3.3 负载均衡与高可用设计29-32
• 3.3.1 负载均衡设计30-31
• 3.3.2 高可用设计31-32
• 3.4 数据库的设计32-36
• 3.4.1 数据库集群32-33
• 3.4.2 数据表设计33-36
• 3.5 接口服务器的设计36-40
• 3.5.1 服务器模型设计36-38
• 3.5.2 线程池的设计38-40
• 3.6 FastDFS负载均衡算法的分析与设计40-45
• 3.6.1 FastDFS已有的负载均衡算法分析40-41
• 3.6.2 FastDFS负载均衡算法存在的不足41-42
• 3.6.3 FastDFS负载均衡算法的改进42-45
• 3.7 本章小结45-46
• 第四章 云存储系统的详细设计与实现46-76
• 4.1 用户接入的详细设计与实现46-49
• 4.1.1 用户交互界面46
• 4.1.2 负载均衡与高可用46-48
• 4.1.3 REST API接口48-49
• 4.2 数据库接口的详细设计与实现49-52
• 4.2.1 数据库的安装部署49-50
• 4.2.2 数据库操作接口50-52
• 4.3 主要功能模块的详细设计与实现52-63
• 4.3.1 用户模块52-53
• 4.3.2 文件上传模块53-55
• 4.3.3 文件下载模块55-57
• 4.3.4 文件夹模块57-58
• 4.3.5 删除模块58-59
• 4.3.6 集群监控模块59-63
• 4.4 接口服务器的详细设计与实现63-70
• 4.4.1 主线程的详细设计与实现63-65
• 4.4.2 线程池的详细设计与实现65-70
• 4.5 FastDFS动态负载均衡算法的实现70-75
• 4.5.1 算法指标的获取70-71
• 4.5.2 算法的实现过程71-73
• 4.5.3 算法测试与分析73-75
• 4.6 本章小结75-76
• 第五章 系统测试及分析76-86
• 5.1 测试环境76-79
• 5.1.1 环境配置76-77
• 5.1.2 搭建环境77-79
• 5.2 测试及分析79-85
• 5.2.1 功能测试79-82
• 5.2.2 性能测试82-85
• 5.3 本章小结85-86
• 第六章 全文总结与展望86-88
• 6.1 全文总结86-87
• 6.2 后续工作展望87-88
• 致谢88-89
• 参考文献89-92

【参考文献】

中国期刊全文数据库 前6条

1 魏斌;;高性能MySQL集群部署[J];河南科技;2014年14期

2 李逦;;浅析云计算背景下云存储的优势与劣势[J];计算机光盘软件与应用;2013年23期

3 余庆;;分布式文件系统FastDFS架构剖析[J];程序员;2010年11期

4 张松敏;陶荣;于国华;;安全散列算法SHA-1的研究[J];计算机安全;2010年10期

5 王爱宁;;MYSQL Cluster研究[J];电脑编程技巧与维护;2010年04期

6 吴松,金海;存储虚拟化研究[J];小型微型计算机系统;2003年04期

中国硕士学位论文全文数据库 前6条

1 周子涵;基于FastDFS的目录文件系统的研究与实现[D];电子科技大学;2015年

2 郑景;基于MooseFS的云存储系统的研究与实现[D];长安大学;2013年

3 李文明;基于开源技术的高性能网站架构研究[D];河北工程大学;2012年

4 张棋胜;云计算平台监控系统的研究与应用[D];北京交通大学;2011年

5 谷建光;基于HTTP协议的多线程网络下载框架的研究与实现[D];南京理工大学;2011年

6 孟凡彦;基于线程池机制的高性能DHCP服务器研究与实现[D];西北工业大学;2005年

，

本文编号：637745