基于负载均衡的FastDFS新存储节点的同步任务分配策略研究
发布时间：2022-02-12 22:17
FastDFS分布式文件系统作为当今网络环境下主流的中小文件存储架构,它有着轻量级、高性能与高扩展的特点,被各大企业广泛应用。其中,新增存储节点作为FastDFS降低系统负载、增加系统吞吐量与容灾备份的重要操作,具有重要意义。但是在新增存储节点所必须完成的源文件同步任务分配中,它采取的方法过于简单,工作效率低下,并且在原有对外上传下载等服务,产生的服务负载基础上,容易造成负载倾斜与性能瓶颈,影响到对外服务质量,从而改进原有的新存储节点同步任务分配方法,不仅可以提高同步效率,还能降低系统整体负载,保证系统对外服务的稳定性。因此,本文基于FastDFS新存储节点同步任务分配问题,提出LBB-STA算法完成多节点负载均衡的计算,计算结果作为考虑老存储节点同步任务分配调度优先执行新存储节点同步任务的参考标准,结合多个老存储节点并发任务执行机制,合作完成新存储节点同步任务。该算法以改进原有的FastDFS新增存储节点同步任务分配算法为创新点,借鉴经典负载均衡算法的思想与适用环境,充分考虑老存储节点性能与服务负载,通过对存储节点状态信息的周期采集,计算处理性能容余率,按照处理性能容余率进行分组处理...
【文章来源】：武汉纺织大学湖北省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
抽象流程图
图 2.2 FastDFS 系统架构图之前的介绍，可以知道FastDFS没有专门存储元数据与文件索引信息的服务件上传操作时 Storage Server 存储节点会根据文件 fileID、组名、磁盘名、文件 ID 然后返回给 Client，之后 Client 可以依据该文件 ID 精确的确定到存放位置，所以不需要专门存储元数据与文件索引信息的服务器。一个文：up 1/M01/04/0F/WSsd34dfDDDDDSajkyuyabxzAiSQghg8714.h中 Group 1 是 组 名 ， M01 是 磁 盘 名 ， 04/0F 是 文 件 存 储 的 目 录 位 dfDDDDDSajkyuyabxzAiSQghg8714 是文件名，h 是文件后缀信息。FastDFS 设计理念tDFS 对比其他类 UNIX 文件系统在设计理念上有三大特点，分别是轻量级对等结构[24]。
这种数据存储方式的最大优点是系统整体框架设计上可以省去存息与元数据的管理服务器，这就是 FastDFS 轻量级的具体体现。组方式：分组方式主要体现在 FastDFS 文件系统与其他 GFS、件容余备份原理上的不同。GFS 系统在数据容余备份上采取的是略，源文件存储在哪一台服务器以及备份数据存储在哪些服务器假设 GFS 系统集群中有五台存储服务器，默认备份数目为 2，此数据需要存储，那么可能的存储情况如图 2.3 所示。与之不同的是分组的方式来达到文件容余备份的目标，每一台 Storage Server 存之前都会在 storage.conf 文件中配置组（Group）信息，组（Grou结构由一台或多台 Storage Server 存储节点组成，整个集群系统的全部组（Group）存储容量之和，组（Group）的存储容量受组内的 Storage Server 存储节点影响，相同组（Group）内的 Storage S的存储内容完全相同、互为备份。采用这种结构的好处是可以有、实现应用隔离、指定数据存储位置、增加系统的可控性与可扩
【参考文献】：
期刊论文
[1]存储虚拟化技术的研究[J]. 刘素娇. 电脑编程技巧与维护. 2018(10)
[2]分布式文件系统简要对比与分析[J]. 江俊彦,宗丹,林锐. 内燃机与配件. 2018(01)
[3]第39次《中国互联网络发展状况统计报告》发布[J]. 中国广播. 2017(02)
[4]基于CPU和内存利用率的负载均衡算法的研究[J]. 杨明极,王鹤,赵加凤. 科技通报. 2016(04)
[5]基于共享内存的多核时代数据结构研究[J]. 周维,周可人,栾钟治,姚绍文,钱德沛. 软件学报. 2016(04)
[6]用逐次最小权值轮询算法实现公平和低时延分组调度[J]. 刘桂开. 系统科学与数学. 2014(09)
[7]计算机集群中负载均衡技术的研究[J]. 张文斌. 电子测试. 2011(11)
[8]分布式文件系统的动态负载均衡算法[J]. 张聪萍,尹建伟. 小型微型计算机系统. 2011(07)
[9]分布式文件系统FastDFS架构剖析[J]. 余庆. 程序员. 2010(11)
[10]服务器负载均衡技术研究[J]. 周莹莲,刘甫. 计算机与数字工程. 2010(04)
硕士论文
[1]FastDFS负载均衡算法的改进及其在水土保持网站系统的应用[D]. 周博闻.华中科技大学 2016
[2]FastDFS分布式文件系统负载均衡算法的改进研究[D]. 熊建波.武汉理工大学 2015
[3]云计算环境下负载均衡策略的研究[D]. 谭乾.厦门大学 2014
[4]分布式文件系统FastDFS的研究与应用[D]. 韩增曦.大连理工大学 2014
[5]基于集群的动态反馈负载均衡算法的研究[D]. 魏钦磊.重庆大学 2013
[6]基于动态反馈机制的集群负载均衡算法研究[D]. 童瑞霞.武汉理工大学 2011
[7]分布式文件系统小文件性能优化技术研究与实现[D]. 李柱.国防科学技术大学 2008
[8]基于集群的动态反馈负载均衡系统的研究与应用[D]. 汤君.天津大学 2008
本文编号：3622483
【文章来源】：武汉纺织大学湖北省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
抽象流程图
图 2.2 FastDFS 系统架构图之前的介绍，可以知道FastDFS没有专门存储元数据与文件索引信息的服务件上传操作时 Storage Server 存储节点会根据文件 fileID、组名、磁盘名、文件 ID 然后返回给 Client，之后 Client 可以依据该文件 ID 精确的确定到存放位置，所以不需要专门存储元数据与文件索引信息的服务器。一个文：up 1/M01/04/0F/WSsd34dfDDDDDSajkyuyabxzAiSQghg8714.h中 Group 1 是 组 名 ， M01 是 磁 盘 名 ， 04/0F 是 文 件 存 储 的 目 录 位 dfDDDDDSajkyuyabxzAiSQghg8714 是文件名，h 是文件后缀信息。FastDFS 设计理念tDFS 对比其他类 UNIX 文件系统在设计理念上有三大特点，分别是轻量级对等结构[24]。
这种数据存储方式的最大优点是系统整体框架设计上可以省去存息与元数据的管理服务器，这就是 FastDFS 轻量级的具体体现。组方式：分组方式主要体现在 FastDFS 文件系统与其他 GFS、件容余备份原理上的不同。GFS 系统在数据容余备份上采取的是略，源文件存储在哪一台服务器以及备份数据存储在哪些服务器假设 GFS 系统集群中有五台存储服务器，默认备份数目为 2，此数据需要存储，那么可能的存储情况如图 2.3 所示。与之不同的是分组的方式来达到文件容余备份的目标，每一台 Storage Server 存之前都会在 storage.conf 文件中配置组（Group）信息，组（Grou结构由一台或多台 Storage Server 存储节点组成，整个集群系统的全部组（Group）存储容量之和，组（Group）的存储容量受组内的 Storage Server 存储节点影响，相同组（Group）内的 Storage S的存储内容完全相同、互为备份。采用这种结构的好处是可以有、实现应用隔离、指定数据存储位置、增加系统的可控性与可扩
【参考文献】：
期刊论文
[1]存储虚拟化技术的研究[J]. 刘素娇. 电脑编程技巧与维护. 2018(10)
[2]分布式文件系统简要对比与分析[J]. 江俊彦,宗丹,林锐. 内燃机与配件. 2018(01)
[3]第39次《中国互联网络发展状况统计报告》发布[J]. 中国广播. 2017(02)
[4]基于CPU和内存利用率的负载均衡算法的研究[J]. 杨明极,王鹤,赵加凤. 科技通报. 2016(04)
[5]基于共享内存的多核时代数据结构研究[J]. 周维,周可人,栾钟治,姚绍文,钱德沛. 软件学报. 2016(04)
[6]用逐次最小权值轮询算法实现公平和低时延分组调度[J]. 刘桂开. 系统科学与数学. 2014(09)
[7]计算机集群中负载均衡技术的研究[J]. 张文斌. 电子测试. 2011(11)
[8]分布式文件系统的动态负载均衡算法[J]. 张聪萍,尹建伟. 小型微型计算机系统. 2011(07)
[9]分布式文件系统FastDFS架构剖析[J]. 余庆. 程序员. 2010(11)
[10]服务器负载均衡技术研究[J]. 周莹莲,刘甫. 计算机与数字工程. 2010(04)
硕士论文
[1]FastDFS负载均衡算法的改进及其在水土保持网站系统的应用[D]. 周博闻.华中科技大学 2016
[2]FastDFS分布式文件系统负载均衡算法的改进研究[D]. 熊建波.武汉理工大学 2015
[3]云计算环境下负载均衡策略的研究[D]. 谭乾.厦门大学 2014
[4]分布式文件系统FastDFS的研究与应用[D]. 韩增曦.大连理工大学 2014
[5]基于集群的动态反馈负载均衡算法的研究[D]. 魏钦磊.重庆大学 2013
[6]基于动态反馈机制的集群负载均衡算法研究[D]. 童瑞霞.武汉理工大学 2011
[7]分布式文件系统小文件性能优化技术研究与实现[D]. 李柱.国防科学技术大学 2008
[8]基于集群的动态反馈负载均衡系统的研究与应用[D]. 汤君.天津大学 2008
本文编号：3622483
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3622483.html
