面向时序数据的离群点异常检测技术应用研究

发布时间：2020-05-19 18:27

【摘要】：随着信息技术的高速发展,服务器运维成本越来越高,而服务器运维的核心问题之一就是关注服务器的各项指标是否异常。服务器的指标监控数据是典型的时序数据,这些指标预示着服务器以及服务器上的应用是否运行良好,因此服务器运维领域的异常检测有着重大的意义。目前对于单变量的时序数据异常检测已经有很多比较成熟的研究,但是对于多维的时序数据异常检测目前仍存在很多问题。特别是在服务器运维领域,服务器指标监控数据种类繁多、数据规模大、流速快,要求算法能快速的检测异常。为了解决这些问题,本文具体做了如下的研究工作:(1)多维时间序列数据的异常检测与单变量时间序列数据之间存在很多差异。例如,多维时间序列的时间连续性比单变量时间序列弱得多,此外如果多维数据中仅有某个维度异常而将整个多维数据判断为异常是不合理的。针对此问题,本文提出了一种多维时序数据集合式异常检测算法iForest for multidimensional time-series(以下简称iForestFMT),主要检测多维时序数据中某段子序列或某个时间段的数据是否异常。考虑到时间连续性对时序数据的异常检测的关键作用,iForestFMT算法充分利用时序数据的统计特征,改进了异常检测领域表现十分优秀的孤立森林算法。在三个真实的数据集中进行实验,结果证明了所提出的方法是高效的。(2)为了近似实时地检测某个时间段内多个服务器指标监控数据是否异常,本文通过在子空间添加mass信息改进了 iForestFMT算法以适应流数据的集合式异常检测,提出了 iForest for multidimensional streams(以下简称iForestForStreams)算法。经过实验验证,iForestForStreams算法在流数据的处理中具有比较稳定的时空复杂度,并且能更及时地处理高速的流数据。此外,为了提高iForestForStreams的时间效率、稳定性和扩展性,本文在分布式流计算框架下重新设计并实现了该算法的分布式版本。实验表明分布式版本的iForestForStreams算法的时间效率相比前者提升了 2.7倍,并且表现出良好的扩展性和稳定性。(3)设计了一个多功能的面向服务器运维领域的时序数据异常检测系统ADSO,该系统实现了数据采集、特征计算、模型训练、异常报警四个功能模块。并模拟了服务器运维场景,验证了系统的有效性。综上,本文提出的算法对服务器运维领域的异常检测具有一定的应用价值。本文实验中所使用的三个数据集来自于UCI库,是真实的服务器网络数据,上述实验验证了本文的算法有助于发现网络数据中的入侵行为。此外,将本文提出的算法应用到不同种类的服务器数据上,可以检测不同类型的服务器异常。
【图文】：

指数平滑法？逦二次指数平滑法逡逑三次指数平滑法逡逑图１－２时间序列的预测模型逡逑基于预测的异常检测。如图１－２，时间序列的预测己经有很多模型，包括但不限于移逡逑动平均、自回归、自回归移动平均、指数平滑模型等。时间的异常检测最普遍的应用是逡逑使用基于回归的预测模型检测特定的瞬时的基于偏差的异常点。这些异常点是上下文的逡逑异常，因为他们将异常定义为瞬时的数据值和邻域的数据值的关系。这种方法既可以用逡逑来检测底层过程的突变，也可以用来过滤底层数据流的噪音。时序数据中基于偏差的异逡逑常点检测和时序预测的问题非常接近，因为异常产生于和期望值有偏差的点。在这些方逡逑法中，时间连续性扮演着重要的角色，因为它假设时序中的值在连续的瞬时中高度相关，逡逑同时时间趋势不会突变。基于偏差的异常点使用下一时刻的预测值（可基于多种回归模逡逑型得到）。单个时序的相关性或者多个时序间的相关性，也可以用来进行预测。逡逑基于距离的异常检测。付培国使用密度抽样和近邻距离算法［％检测数据存在的异常。逡逑如图１－３，时间序列的相似度计算可采用欧氏距离、动态时间规整、最长公共子序列等等逡逑５逡逑

逑逦１逦２、平均偏差Ｑ邋聚类逡逑图１－１时间序列的异常分类逡逑面向时序数据的异常检测算法模型一般有基于预测、基于距离、基于分类、基于统逡逑计等方法。逡逑＿邋简单移动平均法？逡逑移动平均法（ＭＡ）邋Ｑｆ逦邋＿逡逑逦＾邋趋势移动平均法邋？逡逑自回归模型（ＡＢ）邋＠逡逑逦邋自回归滑动平均模型（ＡＢＭＡ）邋？逡逑．时序序列预顺摁助］Ｑ邋求和自回归移动平均模型（ＡＲ１ＭＡ）逡逑ＧＡＲＣＨ模型？邋ＧＡＲＣＨ对误差的方差进行建模，特别适用于波动性的分析和预测逡逑—次指数平滑法逡逑指数平滑法？逦二次指数平滑法逡逑三次指数平滑法逡逑图１－２时间序列的预测模型逡逑基于预测的异常检测。如图１－２，时间序列的预测己经有很多模型，包括但不限于移逡逑动平均、自回归、自回归移动平均、指数平滑模型等。时间的异常检测最普遍的应用是逡逑使用基于回归的预测模型检测特定的瞬时的基于偏差的异常点。这些异常点是上下文的逡逑异常，因为他们将异常定义为瞬时的数据值和邻域的数据值的关系。这种方法既可以用逡逑来检测底层过程的突变，，也可以用来过滤底层数据流的噪音。时序数据中基于偏差的异逡逑常点检测和时序预测的问题非常接近，因为异常产生于和期望值有偏差的点。在这些方逡逑法中，时间连续性扮演着重要的角色，因为它假设时序中的值在连续的瞬时中高度相关，逡逑同时时间趋势不会突变。基于偏差的异常点使用下一时刻的预测值（可基于多种回归模逡逑型得到）。单个时序的相关性或者多个时序间的相关性，也可以用来进行预测。逡逑基于距离的异常检测。付培国使用密度抽样和近邻距离算法［％检测数据存在的异常。逡逑如图１－３
【学位授予单位】：中央民族大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP311.13;TP368.5

【相似文献】

相关期刊论文 前10条

1 王妙琼;魏凯;姜春宇;;工业互联网中时序数据处理面临的新挑战[J];信息通信技术与政策;2019年05期

2 黄雄波;;基于自相关函数的非平稳时序数据的辨识改进[J];微型机与应用;2016年13期

3 尚继霞;;基于时序数据的辽宁省环境库兹涅茨曲线实证分析[J];统计与咨询;2013年04期

4 钟清流;蔡自兴;;基于统计特征的时序数据符号化算法[J];计算机学报;2008年10期

5 王兴家;汪晓惠;赵超;;基于神经网络的混沌时序数据失真检测方法研究[J];重庆交通大学学报(自然科学版);2007年06期

6 郝善勇,刘玉树;基于样本数据重抽样的时序数据预报方法[J];北京理工大学学报;2000年05期

7 骆金维;曾德生;郭雅;黄富平;;时序数据并行压缩速率改进技术研究[J];电子设计工程;2018年20期

8 林芝,曹加恒,刘娟,韦丰;基于信息论网络的时序数据库挖掘[J];计算机工程与应用;2003年01期

9 郑斌祥,杜秀华,席裕庚;一种时序数据的离群数据挖掘新算法[J];控制与决策;2002年03期

10 朱明,蔡庆生;基于约束满足的相似时序数据的搜索算法[J];计算机工程;2000年01期

相关会议论文 前7条

1 张荣明;邹湘军;顾邦军;罗陆锋;周艳琼;;基于探索性分析的时序数据研究[A];中国系统仿真学会第五次全国会员代表大会暨2006年全国学术年会论文集[C];2006年

2 鲍远松;董文生;;一种分布式时序数据库的存储架构设计及实现方法[A];中国计量协会冶金分会2018年会论文集[C];2018年

3 张明伟;周清波;宫攀;陈仲新;周勇;刘佳;;基于MODIS时序数据分析的作物识别方法[A];农业工程科技创新与建设现代农业——2005年中国农业工程学会学术年会论文集第六分册[C];2005年

4 刘帅;李琦;;基于重建NDVI时序数据的植被覆盖变化研究[A];遥感定量反演算法研讨会摘要集[C];2010年

5 许馨文;马卫国;张宝雷;;基于国家级开发区的聚类方法初探[A];京津走廊经济崛起与工业园区产业集群研究——纪念廊坊开发区建立十五周年暨工业园区产业集群专题征文研讨活动论文集[C];2007年

6 曹晖;司刚全;张彦斌;贾立新;;基于模糊时序数据挖掘的火电厂制粉系统优化算法[A];2007'仪表，自动化及先进集成技术大会论文集（一）[C];2007年

7 孙启龙;吕颖;张利国;;基于深度学习的道路可靠性评估方法与实验[A];第37届中国控制会议论文集（E）[C];2018年

相关博士学位论文 前7条

1 吴吉庆;面向Internet的时序数据快速分发技术研究[D];国防科学技术大学;2011年

2 张贵生;数据驱动的金融时间序列预测模型研究[D];山西大学;2016年

3 何周舟;基于时序数据的结构学习与模式预测联合优化算法研究[D];浙江大学;2016年

4 白天;连分式方法在脉冲去噪、时序数据压缩及视频镜头检测中的应用研究[D];合肥工业大学;2014年

5 赵静;基于高斯过程的动态系统研究[D];华东师范大学;2016年

6 叶红梅;面向流域生态安全的景观格局演变研究[D];华中科技大学;2009年

7 钟清流;时序、图像特征检测的理论、方法及应用研究[D];中南大学;2008年

相关硕士学位论文 前10条

1 刘雷;面向时序数据的离群点异常检测技术应用研究[D];中央民族大学;2019年

2 王超;云环境中时序数据的预测和异常检测算法的研究[D];南京大学;2019年

3 舒伟博;时序数据二分类问题的等距短shapelet转换算法[D];中国科学技术大学;2019年

4 韩日旺;关于时序网络鲁棒性与修复性的研究[D];华中师范大学;2018年

5 李凤;非平衡时序数据的动态时间规整过采样方法研究[D];暨南大学;2018年

6 吴俊锋;面向TLE数据的多变量时序数据分类算法研究[D];国防科学技术大学;2016年

7 杨云丽;大数据背景下的时序数据分析[D];中国科学技术大学;2018年

8 李亭亭;基于时序遥感数据的水环境时空采样布局优化方法研究[D];武汉大学;2018年

9 籍姣荣;基于仿射变换的时序数据信息处理方法研究[D];黑龙江大学;2018年

10 沈亮亮;面向金融领域的时序数据挖掘方法研究与应用[D];海南大学;2018年

本文编号：2671298