基于机器学习的动态分区并行文件系统性能优化

发布时间：2024-12-07 05:31

　　 近年来,随着大数据、云计算技术的发展,应用系统越来越集中,规模亦越来越大,使得存储系统的性能问题越来越突出。为应对其性能要求,并行文件系统得到了大量的应用。然而现有的并行文件系统优化方法,大多只考虑应用系统或并行文件系统本身,较少考虑两者之间的协同。该文基于应用系统在并行文件系统上的访问模式对存储系统的性能有显著影响这一特点,提出基于动态分区的并行文件系统优化方法。首先,利用机器学习技术来分析挖掘各个性能影响因素和性能指标之间的关系和规律,生成优化模型。其次,以优化模型为基础,辅助并行文件系统的参数调优工作。最后,基于Ceph存储系统进行原型实现,并设计了三层架构应用系统进行了性能测试,最终达到优化并行文件系统访问性能的目的。实验结果表明,所提出方法可以达到85%的预测优化准确率;在所提出模型的辅助优化下,并行文件系统的吞吐量性能得到约3.6倍的提升。

【文章页数】：13 页


本文编号：4014883