基于随机森林的流处理检查点性能预测

发布时间：2023-11-06 20:14

　　物联网(IoT)的发展引起流数据在数据量和数据类型两方面不断增长。由于实时处理场景的不断增加和基于经验知识的配置策略存在缺陷,流处理检查点配置策略面临着巨大的挑战,如费事费力,易导致系统异常等。为解决这些挑战,该文提出基于回归算法的检查点性能预测方法。该方法首先分析了影响检查点性能的6种特征,然后将训练集的特征向量输入到随机森林回归算法中进行训练,最后,使用训练好的算法对测试数据集进行预测。实验结果表明,与其它机器学习算法相比,随机森林回归算法在CPU密集型基准测试,内存密集型基准测试和网络密集型基准测试上针对检查点性能的预测具有误差低,准确率高和运行高效的优点。

【文章页数】：8 页

【文章目录】：
1 引言
2 动机
3 背景知识
4 识别重要特征
    4.1 CPU类特征
    4.2 内存类特征
    4.3 网络类特征
    4.4 状态数据类特征
    4.5 飞行数据类特征
    4.6 动态特征
5 性能预测
    5.1 集成学习
    5.2 算法流程
6 实验
    6.1 实验方法
    6.2 基准测试
    6.3 评价指标
    6.4 预测误差对比
    6.5 预测准确率对比
    6.6 算法效率对比
7 讨论
8 结束语



本文编号：3861197