基于K-核心空间和K-medoids聚类的离群点检测算法

发布时间：2021-11-20 14:07

　　离群点检测能够挖掘出大量数据中包含有价值信息的少量数据,在实际生活中有着广泛的应用,因此离群点检测成为了数据挖掘中的热点问题。离群点检测的主要任务是检测出异常的数据,从而在这些异常数据中获得有价值的信息。基于密度的离群点检测和基于聚类的离群点检测是目前研究的热点问题。本文深入分析了离群点检测的相关方法,针对基于密度和基于聚类的离群点检测中存在的一些挖掘性能不佳的问题提出了改进策略,旨在提高离群点的检测效率。本文的主要内容分为以下几部分。首先,本文针对基于密度的离群点检测中存在的密度分布不均造成检测效率不高,以及引入反k邻域以后算法的运行时间明显增加的问题提出了一种基于K核心空间的快速局部离群点检测算法。该算法通过引入k核心空间把数据集中的对象划分为近k邻域点和远k邻域点,减少了需要计算反k邻域的点的个数,从而减少算法的运行时间。通过引入可达距离和可达密度减少距离统计波动从而提升了离群点检测的精确度。其次,针对已有算法对于具有多个簇且簇与簇之间密度不同,距离相隔较远的数据集检测效率不高的问题,本文根据离群点的属性——离群点距离密度较高的点较远,离群点的密度要比其邻居内的密度低,提出了一种... 

【文章来源】：燕山大学河北省

【文章页数】：60 页

【学位级别】：硕士

【部分图文】：

数据挖掘涉及到的相关技术

燕山大学工学硕士学位论文(4) 有时需要对数据进行提前预测；(5) 数据挖掘中的规则是对于大样本的，不必适用所有的数据；(6) 数据挖掘的规则随着数据的变化而变化，并不是一成不变的。2.1.2 数据挖掘应用数据挖掘是一个相对新兴的技术，具有广泛的应用。数据挖掘的任务主要分为两类，一类是为了描述事务，另一类是为了预测事务的发展方向。描述性的任务主要是通过数据挖掘来对一些数据进行描述，从而发现数据的有用的价值。预测主要是通过收集大量的数据从而对未来的事务进行预测，常见的预测任务包括天气预报，公司未来的发展方向，农作物生长情况新颖事物的出现等。图 2-2 显示了数据挖掘的主要任务。

图 2-3 数据挖掘的主要数据类型2.1.3 数据挖掘的主要问题数据挖掘是一个动态的过程，已经强势快速扩展到各个邻域。研究的学者们把数据挖掘研究的主要问题划分为 5 类：挖掘方法、用户交互、有效性与可伸缩性、数据类型的多样性、数据挖掘与社会[41]。这其中的有些研究已经相对成熟并已经应用到实际生活中，而有些只是处在理论研究阶段，要想有广泛的应用还需要进一步改进。(1) 挖掘方法目前数据挖掘的方法种类很多，而且涉及到的知识和领域也很丰富。挖掘的方法应该考虑到数据的类型和数据结构的复杂程度，只有这样才能发现更加高效的挖掘方法。(2) 用户交互

【参考文献】：
期刊论文
[1]基于局部密度的快速离群点检测算法[J]. 邹云峰,张昕,宋世渊,倪巍伟.  计算机应用. 2017(10)
[2]基于离群点挖掘的工业控制系统异常检测[J]. 陈庄,黄勇,邹航.  计算机科学. 2014(05)
[3]离群点挖掘技术在交通事件检测中的应用[J]. 诸彤宇,王奇,高梦丹.  计算机科学与探索. 2014(01)
[4]利用子空间划分的局部离群数据挖掘算法[J]. 刘爱琴,葛凌云,杨海峰,张继福.  小型微型计算机系统. 2011(08)
[5]基于划分和孤立点检测的审计证据获取研究[J]. 张晓伟,谢强,陈伟.  计算机应用研究. 2009(07)
[6]离群点挖掘方法综述[J]. 薛安荣,姚林,鞠时光,陈伟鹤,马汉达.  计算机科学. 2008(11)
[7]聚类算法研究[J]. 孙吉贵,刘杰,赵连宇.  软件学报. 2008(01)
[8]一种基于数据场的层次聚类方法[J]. 淦文燕,李德毅,王建民.  电子学报. 2006(02)
[9]一种加权欧氏距离聚类方法[J]. 董旭,魏振军.  信息工程大学学报. 2005(01)
[10]数据挖掘技术[J]. 吉根林,孙志挥.  中国图象图形学报. 2001(08)

硕士论文
[1]基于条件渐增总熵和全局邻域的局部离群点挖掘算法[D]. 孙影.燕山大学 2017
[2]基于密度的高维数据子空间聚类算法研究[D]. 苗立云.燕山大学 2012



本文编号：3507485