基于FastDFS架构的小文件存储系统的设计与实现

发布时间：2017-08-08 04:17

  本文关键词：基于FastDFS架构的小文件存储系统的设计与实现

  更多相关文章： 存储 分布式系统 FastDFS 高并发 高扩展 海量数据

【摘要】：冯诺依曼计算机体系结构的五大组成部分:运算器、控制器、存储器、输入设备、输出设备,而处理、传输和存储是信息计算的三大基本任务,由此可见,存储占据了重要的位置。随着时代的发展,网民人数的不断增加,个人数据和企业数据成爆炸性增长。许多系统都面临了海量数据的问题,如何高效管理、降低存储成本、提高可靠性是存储系统的共同面对的问题。为了解决这些问题,分布式文件存储系统应运而生。分布式文件存储系统具有海量数据存储、高扩展性、高并发、高可靠等特点,是目前火热的技术领域之一,许多技术专家都在致力于分布式存储系统。本文基于对FastDFS架构的小文件存储系统的研究,存储对象主要是10KB至10M之间的小文件。在参考了Fast DFS分布式文件架构后,针对Fast DFS中一些问题提出了改进措施,加入File Index模块,起到全局排重和防空下载的作用,构建一个高性能、高并发、高可用、高扩展的分布式文件存储系统。本文首先分析了国内外分布式文件存储系统的研究状况,主流的分布式文件存储系统的一些特点,然后描述了小文件存储系统的需求分析以及架构设计,接着对基于Fast DFS架构的小文件存储系统的设计方案以及逻辑流程做了介绍,然后详细介绍了基于Fast DFS架构的小文件存储系统的详细设计,主要包括数据结构的设计、公用类库的设计、主要功能模块的详细设计等。在此基础上,针对系统进行了功能性测试以及非功能性测试,并对实验结果进行总结,得到实验结论。
【关键词】：存储 分布式系统 FastDFS 高并发 高扩展 海量数据
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.52;TP333
【目录】：

• 摘要4-5
• Abstract5-8
• 第1章 绪论8-14
• 1.1 课题背景及研究的目的和意义8-9
• 1.1.1 课题来源8
• 1.1.2 目的和意义8-9
• 1.2 与本课题有关的国内外研究状况9-11
• 1.3 本课题研究的主要内容11-13
• 1.4 论文的组织结构13-14
• 第2章 小文件存储系统的需求分析14-23
• 2.1 需求分析14-22
• 2.1.1 系统功能性需求14-21
• 2.1.2 系统非功能性需求21-22
• 2.2 本章小结22-23
• 第3章 小文件存储系统的总体设计23-34
• 3.1 系统总体设计23-25
• 3.2 系统功能25-26
• 3.3 主要流程逻辑26-31
• 3.3.1 文件上传26-29
• 3.3.2 文件下载29
• 3.3.3 文件同步29-31
• 3.3.4 文件删除31
• 3.4 文件系统的容错机制31-33
• 3.5 本章小结33-34
• 第4章 小文件存储系统的详细设计与实现34-70
• 4.1 数据结构设计34-43
• 4.1.1 通用链表34
• 4.1.2 内存池34-38
• 4.1.3 共享内存分配器38-40
• 4.1.4 消息队列40-42
• 4.1.5 文件分片队列42-43
• 4.2 公用类库43-50
• 4.2.1 配置文件解析43-45
• 4.2.2 Md5类库45-46
• 4.2.3 锁46-47
• 4.2.4 序列化47
• 4.2.5 Cache dump47-49
• 4.2.6 流水日志49-50
• 4.3 主要模块设计与实现50-60
• 4.3.1 Master详细设计53-56
• 4.3.2 Server详细设计56-58
• 4.3.3 FileIndex详细设计58-60
• 4.4 系统实现60-68
• 4.4.1 核心模块运行界面60-62
• 4.4.2 核心功能实现62-68
• 4.5 主要难点68-69
• 4.5.1 全异步网络模型68-69
• 4.5.2 文件同步延迟69
• 4.6 本章小结69-70
• 第5章 小文件存储系统的测试70-78
• 5.1 测试目标和测试方法70
• 5.2 功能测试70-75
• 5.2.1 测试环境70
• 5.2.2 测试用例70-75
• 5.3 性能测试75-77
• 5.4 本章小结77-78
• 结论78-80
• 参考文献80-84
• 致谢84-85
• 个人简历85

【参考文献】

中国硕士学位论文全文数据库 前1条

1 毛华坚;支持异构网络存储服务的YaFS文件系统研究与实现[D];国防科学技术大学;2009年

，

本文编号：638199