基于FastDFS的大并发问题的研究与应用

发布时间：2020-05-15 13:39

【摘要】：随着时代的发展,数据的信息量出现了爆炸式的增长,单纯的分布式文件系统已经很难满足海量数据的处理请求。目前,针对文件系统所面临的海量小文件大并发请求问题,许多学者都对其展开了研究,但是已有的研究成果依然存在一些不足之处。因此本论文主要研究如何进一步提高FastDFS的文件处理能力,以便更好的解决海量小文件存储所面临的大并发问题。本论文的主要工作如下:(1)简单概述本课题的研究背景及意义,同时对分布式文件系统、非关系型数据库、服务器集群等的国内外研究现状进行了重点介绍,为接下来本文的相关技术理论知识研究做了很好的铺垫。(2)首先分别对FastDFS、Redis数据库、Nginx集群进行了深入的研究与分析,总结出它们各自的优势与不足;其次针对它们在应对大并发问题所表现出的不足,提出将FastDFS、Redis数据库以及Nginx服务器集群同时应用于实际研发项目中,在综合它们优点的同时弥补各自的不足之处,从而更好的应对大并发问题;最后通过模拟实验及实验数据结果的分析对比,验证了本文提出的组合架构FastDFS+Redis+Nginx集群与原有的FastDFS+Redis架构相比,在处理海量用户的大并发请求时,无论是文件上传还是文件下载所需要的处理时间都会明显减少。(3)通过引入Piece机制,重新利用了FastDFS文件存储结构中大量的闲置空间,不仅提高了文件的存储空间利用率,而且优化了FastDFS本身的性能。通过模拟实验及对相关实验数据的分析,验证了本文提出的引入Piece机制的FastDFS分布式文件系统与已有的FastDFS系统相比,在处理大并发请求时,不仅可以确保系统较高的稳定性和较高的文件处理能力,而且极大的提高了文件存储空间的利用率。
【学位授予单位】：中北大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP311.13;TP333;TP368.5

【参考文献】

相关期刊论文 前10条

1 刘靖;廖家赵;刘琼;;面向城轨线网的海量小文件存储方法[J];计算机应用与软件;2016年08期

2 罗乐;刘轶;钱德沛;;内存计算技术研究综述[J];软件学报;2016年08期

3 柳皓亮;王丽;周阳辰;;Redis集群性能测试分析[J];微型机与应用;2016年10期

4 许东;李静;;大数据管理的偶图模型[J];小型微型计算机系统;2016年02期

5 刘唐;彭舰;陈果;郭兵;汪小芬;;基于密度控制的传感器网络能量空洞避免策略[J];计算机学报;2016年05期

6 高明;;基于Linux的负载平衡算法改进探究[J];电子测试;2015年05期

7 米丽萍;陈旭清;;分布式和缓存技术在大并发量网站中的应用[J];计算机时代;2014年01期

8 刘高军;王帝澳;;基于Redis的海量小文件分布式存储方法研究[J];计算机工程与科学;2013年10期

9 张春明;芮建武;何婷婷;;一种Hadoop小文件存储和读取的方法[J];计算机应用与软件;2012年11期

10 王和平;陈慧;刘茜;;巧用FreeNAS搭建网络存储及备份系统[J];企业技术开发;2012年29期

，

本文编号：2665119