基于随机森林和遗传算法的Ceph参数自动调优

发布时间：2021-02-22 02:07

　　Ceph系统性能受Ceph配置参数的显著影响,在Ceph集群的配置优化中,配置参数种类繁多、含义复杂,导致难以实现快速准确寻优。针对以上问题,提出一种基于随机森林（RF）和遗传算法（GA）的参数调优方法,用于自动调整Ceph参数配置以优化Ceph系统性能。该方法使用RF算法为Ceph系统构建性能预测模型,并将预测模型的输出作为GA的输入,通过GA对参数配置方案进行自动迭代优化。仿真结果表明,调优后的参数配置较默认的参数配置相比,使Ceph文件系统的读写性能提高了约1. 4倍,并且寻优耗时远低于黑盒参数调优方法。 

【文章来源】：计算机应用. 2020,40(02)北大核心

【文章页数】：5 页

【部分图文】：

不同参数配置下性能变化

针对上述问题，本文提出基于随机森林和遗传算法的参数自动调优方法，可以自动调整配置参数的值，以优化给定集群上运行的Ceph应用程序的性能。图2显示了该方法的总体架构，主要由生成数据、建立模型和参数寻优三个部分组成。主要步骤如下：

在建立完性能模型后，仍然不知道最优的参数配置，本文选取遗传算法来搜寻最优参数配置。遗传算法是一种通过模拟自然进化过程搜索最优解的方法[13]，其主要特点是：直接对结构对象进行操作，不存在求导和函数连续性的限定；具有内在的隐并行性和更好的全局寻优能力；采用概率化的寻优方法，不需要确定的规则就能自动获取和指导优化的搜索空间，自适应地调整搜索方向。图3描述了参数寻优的基本框架。首先将默认的参数配置输入到性能模型中，得到对应的读写性能；将默认配置参数及相应的读写性能作为GA的输入，读写性能作为GA的适应度值；GA将默认参数进行交叉、变异，得到一组新的参数配置；将新的参数配置传入性能模型中。重复以上步骤，直到找到最优参数配置。

【参考文献】：
期刊论文
[1]Ceph云存储中基于混合文件系统的读写性能优化方法[J]. 刘辉勇,王勇,俸皓.  微电子学与计算机. 2018(05)
[2]基于资源签名与遗传算法的Hadoop参数自动调优系统[J]. 马跃,余骋远,于碧辉.  计算机应用研究. 2017(11)
[3]Hadoop集群参数的自动调优[J]. 王皎,刘闫锋.  电脑知识与技术. 2012(12)

硕士论文
[1]Ceph分布式文件系统的研究及性能测试[D]. 李翔.西安电子科技大学 2014
[2]基于性能预估的Hadoop参数自动调优系统[D]. 曾林西.华中科技大学 2013



本文编号：3045276