MDLB：一种基于强化学习的元数据动态负载均衡机制（英文）

发布时间：2021-04-09 02:37

　　随着信息和数据量增长,面向对象的存储系统已被广泛应用到很多领域,包括Google文件系统、AmazonS3、Hadoop分布式文件系统和Ceph。其中元数据负载均衡在提高整个系统输入/输出性能方面起着重要作用,元数据负载不平衡会导致服务器出现严重的系统性能瓶颈问题。然而现有元数据负载平衡策略缺乏良好动态性和适用性,如基于子树分割或者哈希的负载策略。提出一种基于强化学习的动态负载平衡机制（MDLB）。采用Q_learning算法,所提基于强化学习机制由3个模块组成,即策略选择网络、负载均衡网络和参数更新网络。实验结果表明MDLB算法可根据元数据服务器的性能动态调节负载,在数据量骤变情况下仍具有很好适应性。 

【文章来源】：Frontiers of Information Technology & Electronic Engineering. 2020,21(07)EISCICSCD

【文章页数】：14 页

【文章目录】：
1 Introduction
2 Related works
3 Problem definition
4 The proposed method
    4.1 Reinforcement learning and the Q＿learning algorithm
    4.2 RL model for MDLB
        4.2.1 Policy selection network
        4.2.2 Metadata load balancing network
        4.2.3 Parameter update network
    4.3 Metadata dynamic load balancing mechanism
    4.4 Reward and objective function
    4.5 Algorithm complexity analysis
5 Experiments
    5.1 Metadata server resource utilization analysis
    5.2 Dynamic load balancing analysis
    5.3 Metadata server delay overshoot and adjust-ment time analysis
    5.4 Metadata distribution analysis
    5.5 Discussion
6 Conclusions
Contributors
Compliance with ethics guidelines


【参考文献】：
期刊论文
[1]对象存储系统中自适应的元数据负载均衡机制[J]. 陈涛,肖侬,刘芳.  软件学报. 2013(02)
[2]基于目录路径的元数据管理方法[J]. 刘仲,周兴铭.  软件学报. 2007(02)



本文编号：3126745