集群环境下异常作业预测方法研究

发布时间：2024-07-08 19:00

　　由于大数据与云集群计算技术的不断发展,用户能在越来越多的使用场景中享受云集群技术带来的便捷高效。近年来,云集群作业及其计算过程造成的数据安全事故频发,引发行业对集群作业本身以及作业计算过程的安全性的关注。因此,集群环境下高效的异常作业预测方法的研究已经成为热点。本文从作业子任务角度考虑作业异常,首先叙述集群环境下异常作业预测方法的基础理论,并分析现有异常作业预测方法的不足;之后阐述并说明集群作业处理机制及作业运行状态与其状态相关性;叙述作业子任务运行的不同阶段预测方法技术中的支持向量机(support vector machine,SVM)模型预测原理并分析门控递归单元(gated recurrent unit,GRU)神经网络预测作业时的优缺点。其次,针对现有集群环境下异常作业在线预测方法预测效率低、预测时间长且未考虑作业相关性等问题,设计一种基于改进门控递归单元神经网络的集群异常作业在线预测方法(online cluster anomaly job prediction method based on improved gated recurrent unit neural net...

【文章页数】：58 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
        1.2.1 作业离线预测方法
        1.2.2 作业在线预测方法
    1.3 论文研究内容
    1.4 论文结构安排
    1.5 总结
第二章 基础理论及方法分析
    2.1 集群作业处理机制分析
        2.1.1 Map/Reduce基本原理
        2.1.2 集群作业处理过程
    2.2 集群作业状态与状态相关性分析
        2.2.1 集群作业状态分析
        2.2.2 集群作业状态相关性分析
    2.3 异常作业预测方法技术分析
        2.3.1 支持向量机分类原理
        2.3.2 门控递归单元神经网络分析
    2.4 本章小结
第三章 集群异常作业在线预测方法
    3.1 基本定义
    3.2 研究思路及目标
    3.3 集群异常作业在线预测方法
        3.3.1 作业子任务动态特征
        3.3.2 改进门控递归单元神经网络
        3.3.3 改进GRU任务在线预测过程
        3.3.4 基于IGRU的集群异常作业在线预测方法
    3.4 实验过程与结果分析
        3.4.1 实验环境搭建及数据集说明
        3.4.2 预测性能评价指标
        3.4.3 方法训练
        3.4.4 实验过程
        3.4.5 方法预测灵敏度结果及分析
        3.4.6 方法预测误差率结果及分析
        3.4.7 方法预测精确度结果及分析
        3.4.8 方法预测时长结果及分析
    3.5 本章小结
第四章 集群异常作业分段预测方法
    4.1 研究思路及目标
    4.2 预测方法过程设计
        4.2.1 作业子任务静态特征
        4.2.2 集群异常作业离线预测阶段
        4.2.3 分段集群异常作业预测方法
    4.3 实验结果与分析
        4.3.1 实验过程
        4.3.2 方法预测灵敏度结果及分析
        4.3.3 方法预测误差率结果及分析
        4.3.4 方法预测精确度结果及分析
        4.3.5 方法预测时长结果及分析
    4.4 本章小结
第五章 总结与展望
    5.1 论文工作总结
    5.2 后续工作展望
致谢
参考文献
作者简介



本文编号：4003730