安全态势感知系统中K-Means算法的并行化研究

发布时间：2024-04-13 19:56

　　大数据环境下的网络安全事件层出不穷,安全态势感知系统的应用势在必行。通过挖掘日志数据并进行安全分析,可以实现对异常事件的追责与溯源,有效地减少网络安全事故的发生。针对传统K-Means算法时间开销大、执行效率低的问题,将改进K-Means算法在大数据计算框架Hadoop上实现并行化,来满足大数据下安全态势感知系统日志安全分析的需求。实验表明,改进后的算法在有效性和时间复杂度方面都优于传统算法。

【文章页数】：6 页

【部分图文】：

图2功能模块图

图1系统架构图1.2系统工作原理

图1系统架构图

安全态势平台的总体软件架构由数据层、分析层、展示层三部分组成。数据层处于整个系统框架的底层，主要完成的是数据源的采集与存储，将不同来源的日志切成大小相同的数据片后送到各个节点。分析层调用Map和Reduce函数库将任务进行拆分作并行计算，结合K-Means聚类算法进行聚类结果分析....

图3改进K-Means算法流程图

针对K-Means在数据处理方面的缺陷，本文提出一种改进K-Means算法。新算法在去除孤立点干扰、寻找合适的聚类中心、判断中心点收敛的方式等方面做出了改进，改善了传统K-Means算法耗时长、执行效率低等问题[6]。改进后的算法流程图如图3所示。改进K-Means算法描述如下：

图4MapReduce并行化处理流程

经过标准化、过滤、补齐、关联标签等流程后，日志数据如表1所示[9]。3.1算法有效性验证

本文编号：3953542