KPI数据实时异常检测算法研究与实现

发布时间：2022-08-07 17:33

　　KPI数据（Key Performance Indicator）是有实际应用意义的、通过定时采样获取的时间序列数据,KPI数据异常检测对于企业应用有着十分重要的意义:通过实时的监控KPI数据,发现KPI数据存在的异常,及时进行相应处理,从而保证应用的正常运行。在企业中,通过对KPI数据设置阈值来进行实时异常检测的方法十分普遍,然而阈值的设置依赖用户经验,同时,随着KPI数据逐渐增多,为每一条KPI数据配置若干阈值的方法就会耗费巨大的人力。针对KPI数据异常检测问题,为了实现免阈值设置、高度自动化的目标,本课题开展了相关工作,提出了三种算法,这三种算法高度自动化,使得用户无需为每一条KPI单独设置阈值,具有很高的使用价值和实用意义。本文的主要工作包括:首先,提出了基于异常阈值可分性的KPI异常检测算法。本文给出了“异常阈值可分性”的概念用于评价特征是否有助于发现异常,利用异常阈值可分性,本文提出了基于监督学习的异常检测框架,通过算法自动提取每个KPI数据的特征,框架能够针对每个KPI的特点进行相应的学习,从而为每个KPI实现异常检测。经过与成熟算法和系统的实验对比,本文的方法能够将F1 ... 

【文章页数】：76 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 课题背景及研究的目的和意义
    1.2 国内外研究现状及分析
        1.2.1 国外研究现状及分析
        1.2.2 国内研究现状及分析
    1.3 相关工作
        1.3.1 基于监督学习的KPI异常检测
        1.3.2 基于无监督学习的KPI异常检测
        1.3.3 KPI异常检测算法系统
    1.4 本文的主要研究内容
    1.5 本文的组织结构
第2章 基于异常阈值可分性的有监督KPI异常检测
    2.1 引言
    2.2 问题描述
    2.3 算法概述
        2.3.1 特征空间转换
        2.3.2 免阈值设置
    2.4 异常检测特征选择
        2.4.1 面向点异常的特征选择
        2.4.2 面向上下文异常的特征选择
        2.4.3 面向集体异常的特征选择
    2.5 有监督KPI异常检测框架
        2.5.1 框架运行流程
        2.5.2 特征加速提取
        2.5.3 不平衡数据处理
    2.6 异常检测实验及分析
        2.6.1 实验数据及评价指标
        2.6.2 检测效果对比实验
        2.6.3 不平衡数据处理方法对比实验
    2.7 本章小结
第3章 基于极端值理论的KPI异常检测
    3.1 引言
    3.2 问题描述
        3.2.1 基于k sigma理论的异常检测算法
        3.2.2 基于切比雪夫不等式的异常检测算法
    3.3 极端值理论基础
        3.3.1 极端值理论基本概念
        3.3.2 基于极端值理论实现异常检测的思路
        3.3.3 极端值分布参数估计与极大似然法
    3.4 基于矩估计法的动态阈值设置
    3.5 基于预测算法的动态阈值设置
    3.6 漂移数据上的动态阈值设置
    3.7 异常检测实验及分析
        3.7.1 矩估计性能对比实验
        3.7.2 预测算法对比实验
        3.7.3 漂移数据改进算法对比实验
        3.7.4 不稳定KPI数据对比实验
    3.8 本章小结
第4章 基于动态投票的无监督KPI异常检测
    4.1 引言
    4.2 算法设计
        4.2.1 产生阶段
        4.2.2 基本检测器组合阶段
    4.3 动态硬投票算法
    4.4 动态软投票算法
    4.5 异常检测实验及分析
    4.6 本章小结
结论
参考文献
攻读硕士学位期间发表的论文及其它成果
致谢



本文编号：3670747