面向数据流的异常检测技术研究

发布时间：2024-01-28 08:18

　　网络空间安全始终是研究者关注的重点,尤其是在网络设备升级,宽带提速的今天,如何在复杂的网络数据流下,有效地发现异常数据是当前安全领域的主要问题之一。传统的面向静态数据集的数据挖掘算法首先将数据集全部加载到内存,通过对数据集的多次遍历以建立静态的分析模型,这个过程需要大量的时间和空间开销。数据流具有数据分布动态变化、数据体积潜在无穷、数据持续到达等特征。这些特征要求数据流挖掘算法能够在有限的内存下通过单次遍历数据建立初始模型,且该模型能够及时地对后续到达的数据做出相应处理,动态调整以适应变化的数据流。现有的异常检测技术大多基于传统的数据挖掘算法,虽然能够在静态的数据集上获得较好的结果,但是无法应用于动态的数据流环境。基于上述分析和比较,本文针对数据流环境下的异常检测技术进行相应研究,并做出如下工作:(1)本文阐述了数据流的概念和定义,分析了动态数据流环境对挖掘算法的要求和存在的问题,总结了数据流挖掘的主要任务和常用算法。数据流是一个由连续的数据对象构成的序列,这些数据通常持续到达,具有高维特征,潜在的数据分布存在变化。相较于传统机器学习技术,数据流挖掘算法通常只记录数据粗略的统计信息,单...

【文章页数】：63 页

【学位级别】：硕士

图２．３时间窗口技术??

图３．４不同数据量下聚类效果对比??

图３．５不同数据量下时间开销对比??

图３．６不同类别数量下聚类效果对比??

本文编号：3887375