基于多次抽样和维度熵的异常点检测算法研究
发布时间：2022-11-12 09:44
异常点是与数据集中大多数数据不同的、不一致的和具有足够大偏差的数据实例。异常点检测的主要任务是检测数据集中的异常数据实例,可以用于找出某些反常现象和异常行为,有着十分重要的研究意义。当前,异常点检测技术已经在各种社会生产和生活领域中提供关键的、可操作的信息,并产生了许多代表性的应用,例如信用卡欺诈检测、医疗诊断、环境监控、基因序列研究等。目前学术界已经提出了许多异常点检测算法,通常可以分为五大类,即基于统计模型的方法、基于距离的检测方法、基于密度的检测方法、基于子空间的检测方法和基于集成学习的检测方法。本文概述了上述五类异常点检测算法,分析了它们各自的优点以及存在的不足之处,介绍了一些常用的异常点检测算法和两种主流的评价方法平均精度以及AUC值,并提出了两种新的异常点检测算法。1)基于多次抽样的最近邻异常点检测算法MS-1NN:随着近年数据容量和维度的增加,对异常点检测算法的运行速度、检测效果和稳定性都提出了更高的要求,传统的基于k-近邻搜索方法难以兼顾,基于一次抽样的方法随机因素较大,算法效果不够稳定。鉴于这些问题,本文提出了一种基于多次抽样的最近邻异常点检测算法MS-1NN,并且将...
【文章页数】：63 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 研究背景与研究意义
1.2 国内外研究现状
1.2.1 基于统计模型的异常点检测方法
1.2.2 基于距离的异常点检测方法
1.2.3 基于密度的异常点检测方法
1.2.4 基于子空间的异常点检测方法
1.2.5 基于集成学习的异常点检测方法
1.3 本文的主要工作
1.4 本文的组织结构
第二章 异常点检测的相关研究
2.1 异常点概述
2.1.1 异常点的定义和形成原因
2.1.2 异常点的分类
2.2 常见的异常点检测算法
2.2.1 DPMM算法
2.2.2 ABOD算法
2.2.3 kNN算法
2.2.4 LOF算法
2.2.5 LDOF算法
2.2.6 HiCS算法
2.3 异常点检测算法评价方法
2.3.1 平均精度
2.3.2 AUC值
2.4 本章小结
第三章 基于多次抽样的异常点检测算法
3.1 引言
3.2 基于抽样的qkthNN和 qsp算法
3.2.1 qkthNN算法
3.2.2 qsp算法
3.3 MS-1NN算法
3.3.1 算法思路
3.3.2 随机抽样及子样本处理
3.3.3 异常评分的计算
3.3.4 距离公式的计算
3.3.5 算法描述
3.4 对比实验及结果分析
3.4.1 实验数据
3.4.2 实验设置
3.4.3 实验结果
3.5 本章小结
第四章 基于维度熵的异常点检测算法
4.1 引言
4.2 iForest算法
4.2.1 训练阶段
4.2.2 预测阶段
4.3 E-iForest算法
4.3.1 算法思路
4.3.2 维度熵的计算
4.3.3 三个隔离策略
4.3.4 改进路径长度的计算
4.3.5 算法描述
4.4 实验及结果分析
4.4.1 实验数据
4.4.2 实验设置
4.4.3 实验结果
4.4.4 E-iForest参数分析
4.5 本章小结
第五章 总结与展望
5.1 总结
5.2 展望
参考文献
致谢
攻读学位期间的研究成果
【参考文献】：
期刊论文
[1]基于改进距离和的异常点检测算法研究[J]. 李春生,于澍,刘小刚. 计算机技术与发展. 2019(03)
[2]显著性光流直方图字典表示的群体异常事件检测[J]. 岑翼刚,王文强,李昂,梁列全,王恒友. 信号处理. 2017(03)
[3]基于Isolation Forest的并行化异常探测设计[J]. 侯泳旭,段磊,秦江龙,秦攀,唐常杰. 计算机工程与科学. 2017(02)
[4]一种新的在线流数据异常检测方法[J]. 丁智国,莫毓昌,杨凡. 计算机科学. 2016(10)
[5]基于密度的异常数据检测算法GSWCLOF[J]. 李少波,孟伟,璩晶磊. 计算机工程与应用. 2016(19)
[6]基于高斯过程模型的异常检测算法[J]. 于冰洁,夏战国,王久龙. 计算机工程与设计. 2016(04)
[7]基于邻域密度的异常检测方法[J]. 赵华,秦克. 计算机工程与应用. 2014(17)
[8]基于核函数-主成分维数约减的离群点检测[J]. 徐雪松,刘耀宗,赵学龙,张宏,刘凤玉. 计算机工程. 2008(08)
[9]基于核函数Fisher鉴别的异常入侵检测[J]. 周鸣争. 电子与信息学报. 2006(09)
本文编号：3706141
【文章页数】：63 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 研究背景与研究意义
1.2 国内外研究现状
1.2.1 基于统计模型的异常点检测方法
1.2.2 基于距离的异常点检测方法
1.2.3 基于密度的异常点检测方法
1.2.4 基于子空间的异常点检测方法
1.2.5 基于集成学习的异常点检测方法
1.3 本文的主要工作
1.4 本文的组织结构
第二章 异常点检测的相关研究
2.1 异常点概述
2.1.1 异常点的定义和形成原因
2.1.2 异常点的分类
2.2 常见的异常点检测算法
2.2.1 DPMM算法
2.2.2 ABOD算法
2.2.3 kNN算法
2.2.4 LOF算法
2.2.5 LDOF算法
2.2.6 HiCS算法
2.3 异常点检测算法评价方法
2.3.1 平均精度
2.3.2 AUC值
2.4 本章小结
第三章 基于多次抽样的异常点检测算法
3.1 引言
3.2 基于抽样的qkthNN和 qsp算法
3.2.1 qkthNN算法
3.2.2 qsp算法
3.3 MS-1NN算法
3.3.1 算法思路
3.3.2 随机抽样及子样本处理
3.3.3 异常评分的计算
3.3.4 距离公式的计算
3.3.5 算法描述
3.4 对比实验及结果分析
3.4.1 实验数据
3.4.2 实验设置
3.4.3 实验结果
3.5 本章小结
第四章 基于维度熵的异常点检测算法
4.1 引言
4.2 iForest算法
4.2.1 训练阶段
4.2.2 预测阶段
4.3 E-iForest算法
4.3.1 算法思路
4.3.2 维度熵的计算
4.3.3 三个隔离策略
4.3.4 改进路径长度的计算
4.3.5 算法描述
4.4 实验及结果分析
4.4.1 实验数据
4.4.2 实验设置
4.4.3 实验结果
4.4.4 E-iForest参数分析
4.5 本章小结
第五章 总结与展望
5.1 总结
5.2 展望
参考文献
致谢
攻读学位期间的研究成果
【参考文献】：
期刊论文
[1]基于改进距离和的异常点检测算法研究[J]. 李春生,于澍,刘小刚. 计算机技术与发展. 2019(03)
[2]显著性光流直方图字典表示的群体异常事件检测[J]. 岑翼刚,王文强,李昂,梁列全,王恒友. 信号处理. 2017(03)
[3]基于Isolation Forest的并行化异常探测设计[J]. 侯泳旭,段磊,秦江龙,秦攀,唐常杰. 计算机工程与科学. 2017(02)
[4]一种新的在线流数据异常检测方法[J]. 丁智国,莫毓昌,杨凡. 计算机科学. 2016(10)
[5]基于密度的异常数据检测算法GSWCLOF[J]. 李少波,孟伟,璩晶磊. 计算机工程与应用. 2016(19)
[6]基于高斯过程模型的异常检测算法[J]. 于冰洁,夏战国,王久龙. 计算机工程与设计. 2016(04)
[7]基于邻域密度的异常检测方法[J]. 赵华,秦克. 计算机工程与应用. 2014(17)
[8]基于核函数-主成分维数约减的离群点检测[J]. 徐雪松,刘耀宗,赵学龙,张宏,刘凤玉. 计算机工程. 2008(08)
[9]基于核函数Fisher鉴别的异常入侵检测[J]. 周鸣争. 电子与信息学报. 2006(09)
本文编号：3706141
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3706141.html
