分类型数据异常检测算法研究

发布时间：2021-01-14 19:35

　　在进行数据分析的时候,常常会遇到与整个数据集行为不相符的数据,这些数据被称为异常数据、异常值或者离群值。异常值检测是最基本的数据分析任务之一,用于发现罕见事件、例外情况或与常规条目的某种偏离。异常检测在许多领域里面有着重要的应用,包括但不限于通信、统计、金融欺诈、网络安全、气候异常等等。尽管存在许多用于数值型数据中异常值检测的方法,但是只有少数几种方法可以处理使用分类属性表示的数据。分类型数据用于异常值检测的研究较少,但实际上分类属性构成的数据随处可见,由于分类型数据并不一定是有序的,使得难以在分类型数据上定义相似度度量、计算最近邻居或者计算距离或密度。由于这些问题的存在,导致分类型数据异常检测并不是一个容易的任务。本文对分类型数据异常检测问题进行讨论和研究,提出了两个基于熵的异常检测方法分别为称为ODF（Outlier Detection Forest）算法和基于ODF改进的FASTODT（Fast Outlier Detection Tree）算法。本文首先介绍了传统的根据数据集熵的变化来判断数据异常程度的熵差计算方式,之后提出了传统的熵差计算存在熵差大小受数据量大小影响的问题,并... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：66 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 课题研究背景和意义
    1.2 国内外相关研究及综述
        1.2.1 不同的应用领域
        1.2.2 不同的处理方法
    1.3 本文的内容
    1.4 本文的结构安排
第2章 异常检测技术概述
    2.1 引言
    2.2 异常检测技术
        2.2.1 异常检测的背景与应用
        2.2.2 异常值的定义
        2.2.3 异常值的成因
        2.2.4 异常值的分类
        2.2.5 异常值检测的评价指标
    2.3 分类型数据异常检测问题
        2.3.1 分类型属性
        2.3.2 分类型数据异常检测的挑战
    2.4 分类型数据异常检测方法
        2.4.1 基于熵的方法
        2.4.2 基于聚类的方法
        2.4.3 基于密度的方法
        2.4.4 基于距离的方法
    2.5 本章小结
第3章 基于熵的分类型数据异常检测算法
    3.1 引言
    3.2 异常检测问题描述与建模
    3.3 分类型数据ODT异常检测算法设计
        3.3.1 ODT算法思路
        3.3.2 传统的熵差算法存在的问题
        3.3.3 改进的熵差算法
        3.3.4 ODT算法设计
        3.3.5 可行性分析
    3.4 分类型数据ODF异常检测算法设计
        3.4.1 ODF算法思路
        3.4.2 ODF算法设计
    3.5 分类型数据FAST-ODT异常检测算法设计
        3.5.1 ODF算法的改进方向
        3.5.2 FAST-ODT算法设计
    3.6 本章小结
第4章 实验方案与性能分析
    4.1 引言
    4.2 实验介绍
    4.3 ODF算法效果分析
        4.3.1 准确性分析
        4.3.2 时间分析
        4.3.3 参数分析
    4.4 FAST-ODT算法效果分析
        4.4.1 准确性分析
        4.4.2 时间分析
    4.5 本章小结
结论
参考文献
攻读硕士学位期间发表的论文及其他成果
致谢


【参考文献】：
期刊论文
[1]基于深度学习的时间序列数据异常检测方法[J]. 胡姣姣,王晓峰,张萌,张德鹏,胡绍林.  信息与控制. 2019(01)
[2]基于改进聚类算法的卫星数据异常检测模型[J]. 潘志安,刘庆杰,王小英,孙晓叶.  科技通报. 2018(07)
[3]大数据环境下的网络流量异常检测研究[J]. 蒲晓川.  现代电子技术. 2018(03)



本文编号：2977416