基于大数据的时间序列异常点检测研究
本文选题:异常点检测 + 时间序列 ; 参考:《计算机技术与发展》2016年05期
【摘要】:针对传统时间序列异常点检测方法在处理大量数据时检测精度与效率低下的缺陷,文中提出一种基于大数据技术的全新时间序列异常点检测方法。首先介绍了传统时间序列异常点检测方法并分析了其缺陷。其次介绍了基于大数据方法的理论推导,包括特征提取、奇异点检测及异常点判别,具体为采用大数据方法将海量序列分解为周期分量、趋势分量、随机误差分量及突发分量四个不同分量,对不同分量进行特征提取并根据特征提取结果进行奇异点检测,并在此基础上利用序列特点判别奇异点是否为异常点。最后通过实验分析对比验证大数据方法的可行性与效率。实验结果表明,基于大数据方法的时间序列异常点检测相比于传统的方法具有更高的检测精度与更快的检测速率。
[Abstract]:Aiming at the defects of the traditional time series anomaly detection method, which is low precision and efficiency in dealing with a large amount of data, a new time series anomaly detection method based on big data technology is proposed in this paper. Firstly, the traditional time series anomaly detection method is introduced and its defects are analyzed. Secondly, the theoretical derivation based on big data's method is introduced, including feature extraction, singular point detection and anomaly discrimination. Four different components of random error component and burst component are used to extract the different components and detect the singularity points according to the feature extraction results. On the basis of this, the singularity points are judged by the sequence characteristics to determine whether the singular points are abnormal points. Finally, the feasibility and efficiency of big data's method are verified by experimental analysis and comparison. The experimental results show that the time series anomaly detection based on big data method has higher detection accuracy and faster detection rate than the traditional method.
【作者单位】: 南京邮电大学自动化学院;
【基金】:江苏省自然科学基金(BK20140877,BE2014803)
【分类号】:TP311.13
【相似文献】
相关期刊论文 前10条
1 陶运信;皮德常;;屏蔽输入参数敏感的异常点检测新方法[J];计算机科学;2008年12期
2 陶运信;皮德常;;基于邻域和密度的异常点检测算法[J];吉林大学学报(信息科学版);2008年04期
3 张春生;李艳;王海珍;张世铮;;基于纵横距离的单纯异常点检测算法及应用[J];内蒙古民族大学学报(自然科学版);2009年04期
4 颜庆茁;Java的异常设计原则[J];集美大学学报(自然科学版);2004年02期
5 王洪春;彭宏;;一种基于主成分分析的异常点挖掘方法[J];计算机科学;2007年10期
6 刘洪涛;童德利;陈世福;;一种基于属性的异常点检测算法[J];计算机科学;2005年05期
7 陆介平;倪巍伟;孙志挥;;基于关联分析的高维空间异常点发现[J];应用科学学报;2006年01期
8 苏卫星;朱云龙;刘芳;胡琨元;;时间序列异常点及突变点的检测算法[J];计算机研究与发展;2014年04期
9 卢鸣;;基于异常点处理和自劈分合并学习的聚类方法[J];福建电脑;2008年12期
10 王元明;熊伟;;异常数据的检测方法[J];重庆工学院学报(自然科学版);2009年02期
相关会议论文 前5条
1 张维;刘博;张小涛;;日内金融高频数据的异常点检测[A];全国自动化新技术学术交流会会议论文集(一)[C];2005年
2 刘晓艳;王丽珍;杨志强;陈红梅;;基于数学形态学的模糊异常点检测[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
3 王倩;刘奕群;马少平;茹立云;;面向用户互联网访问日志的异常点击分析[A];第五届全国信息检索学术会议论文集[C];2009年
4 王丽珍;周丽华;肖清;;基于数据仓库的动态异常点检测研究[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
5 张重生;冯海军;陈红;梁思维;李翠平;;一种分布式数据集上top-n异常点挖掘的高效算法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
相关硕士学位论文 前10条
1 何欢;基于概念漂移的异常检测技术研究[D];电子科技大学;2015年
2 赵伯夷;基于神经网络的异常点挖掘[D];河北大学;2011年
3 孙易木;异常点挖掘及证券行业应用实例研究[D];同济大学;2006年
4 曹忠虔;时间序列异常检测的研究[D];电子科技大学;2012年
5 彭珊;线性回归模型中关于异常点的若干问题的分析[D];东北林业大学;2014年
6 杨金伟;基于距离和信息熵的不确定异常点检测研究[D];云南大学;2011年
7 庄雪鹏;基于小波的时间序列中异常点的检测[D];南京大学;2013年
8 王康宁;贝叶斯方法下二值与多值序次数据模型与异常点的同时识别[D];苏州大学;2011年
9 张洋;一种基于热计量数据的异常点挖掘算法研究[D];燕山大学;2012年
10 张晓;教师评价中基于聚类算法的异常点分析的研究[D];东北师范大学;2009年
,本文编号:1817635
本文链接:https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/1817635.html