一种新的基于邻居样本分布特征的异常值检测算法研究

发布时间：2018-12-12 12:38

【摘要】：在数据挖掘领域中,研究的重点之一为异常检测技术。针对数据挖掘中实际采集到的样本数据受众多因素的影响所出现的异常值,本文提出一种新的基于邻居样本分布特征的异常检测算法,该算法通过引用邻域的概念能够处理混合属性的数据集,并且单纯考虑一个样本的的邻域大小和样本的邻域密度不能合理的反映该样本的异常程度,该算法考虑邻域中的所有样本。仿真实验结果表明,在处理混合数据中本文提出的数据异常检测算法相较其他异常检测算法有明显的优势。
[Abstract]:In the field of data mining, one of the focuses of research is anomaly detection technology. In this paper, a new anomaly detection algorithm based on the distribution characteristics of neighbor samples is proposed to solve the outliers caused by many factors in the actual sample data collected in data mining. The algorithm can deal with the data set of mixed attributes by referring to the concept of neighborhood, and simply considering the neighborhood size of a sample and the neighborhood density of a sample can not reasonably reflect the abnormal degree of the sample. The algorithm considers all samples in the neighborhood. The simulation results show that the outlier detection algorithm proposed in this paper has obvious advantages over other anomaly detection algorithms in dealing with mixed data.
【作者单位】： 江苏海事职业技术学院;南京信息工程大学计算机与软件学院;
【基金】：2015年江苏省现代教育技术重点研究课题(项目编号:2015-R-42639)
【分类号】：TP311.13

【参考文献】

相关期刊论文 前3条

1 林硕蕾;;基于小数据冲突检测的坏点数据挖掘模型仿真[J];科技通报;2015年01期

2 柴争义;王献荣;王亮;;用于异常检测的实值否定选择算法[J];吉林大学学报(工学版);2012年01期

3 刘良旭;乐嘉锦;乔少杰;宋加涛;;基于轨迹点局部异常度的异常点检测算法[J];计算机学报;2011年10期

【共引文献】

相关期刊论文 前10条

1 张军;刘文杰;;一种新的基于邻居样本分布特征的异常值检测算法研究[J];科技通报;2017年01期

2 毛嘉莉;金澈清;章志刚;周傲英;;轨迹大数据异常检测:研究进展及系统框架[J];软件学报;2017年01期

3 程艳云;张守超;杨杨;;基于大数据的时间序列异常点检测研究[J];计算机技术与发展;2016年05期

4 缪丽萍;;基于大数据的教育技术研究新范式[J];教书育人(高教论坛);2016年06期

5 钱晓军;范冬萍;吉根林;;物联网差异数据库中的故障数据快速挖掘仿真[J];计算机仿真;2016年01期

6 冯利容;彭艳兵;杨美珍;;临近基站建议模型在基站位置校正中的应用[J];计算机与现代化;2015年11期

7 高炜;曹锐;;一种基于集群概率的网络入侵检测算法[J];电子技术与软件工程;2015年08期

8 张安玲;邓启森;;一种混合人工免疫算法的研究[J];中北大学学报(自然科学版);2015年01期

9 金静;韩虎;崔永君;;改进的否定选择算法在入侵检测系统中的应用[J];电子设计工程;2015年01期

10 伍海波;;一种改进的否定选择算法在入侵检测中的应用[J];长沙医学院学报;2014年04期

【二级参考文献】

相关期刊论文 前10条

1 张净;孙志挥;宋余庆;倪巍伟;晏燕华;;基于信息论的高维海量数据离群点挖掘[J];计算机科学;2011年07期

2 周绪川;钟勇;;集成学习分布式异常检测方法[J];计算机工程与应用;2011年18期

3 马鑫;梁艳春;田野;于涛;;基于免疫机理与合同网协议的多Agent入侵检测系统[J];吉林大学学报(工学版);2011年01期

4 胡彩平;秦小麟;;一种基于密度的局部离群点检测算法DLOF[J];计算机研究与发展;2010年12期

5 周俊临;傅彦;吴跃;方育柯;夏虎;;基于模型共享的分布式无监督异常检测[J];郑州大学学报(理学版);2010年01期

6 柴争义;刘芳;朱思峰;;新型智能入侵防御模型[J];华中科技大学学报(自然科学版);2010年01期

7 朱思峰;刘芳;柴争义;;基于检测器覆盖率评估的否定选择算法[J];华中科技大学学报(自然科学版);2009年12期

8 刘衍珩;孙蕾;田大新;吴静;张凤华;;基于融合主成分匹配的异常检测方法[J];吉林大学学报(工学版);2009年05期

9 ;A self-adaptive negative selection algorithm used for anomaly detection[J];Progress in Natural Science;2009年02期

10 张凤斌;王大伟;王胜文;;A self region based real-valued negative selection algorithm[J];Journal of Harbin Institute of Technology;2008年06期

【相似文献】

相关期刊论文 前4条

1 胡蓓蓓;彭艳兵;程光;;基于Counting Bloom Filter的DNS异常检测[J];计算机工程与应用;2014年15期

2 陈冰;鲁刚;房红征;艾力;;基于最小二乘支持向量机的卫星异常检测方法[J];计算机测量与控制;2014年03期

3 牛玲;郭渊博;刘伟;;基于流量的无线Mesh网跨层异常检测方法[J];计算机工程;2012年22期

4 ;[J];;年期

相关会议论文 前1条

1 周福娜;文成林;陈志国;;一种多模型异常检测方法[A];第25届中国控制与决策会议论文集[C];2013年

，

本文编号：2374564