基于模糊聚类的报警数据并行融合方法

发布时间：2024-06-02 05:14

　　针对现有多源入侵检测设备产生的报警数据中存在大量冗余和相似报警,导致检测精度较低的问题,提出一种基于模糊聚类的报警数据并行融合方法。该方法采用模糊聚类的思想融合多源报警数据,通过最大最小距离算法改进模糊C均值聚类,避免聚类结果陷入局部最优解,同时利用MapReduce分布式计算模型提高处理效率。在真实入侵检测环境中的实验结果显示,通过该方法聚类后的数据融合率达到87.88%,证明该方法可有效去除误报警,提高检测精度。

【文章页数】：6 页

【部分图文】：

图1并行FCM算法流程图

Map过程的主要任务是计算数据样本点到聚类中心的几何距离，再通过隶属度计算公式将几何距离转化成隶属度，最后将该样本点数据、所属的聚类中心点以及对应的隶属度输出。首先从HDFS上读取数据，并以指定的（key,value）对输入格式作为Map函数的输入值，其中key为数据样本点的id....

图2Ambari大数据平台拓扑图

通过搭建真实的Ambari版本的大数据平台来验证所提方法的有效性。分布式大数据处理平台环境为CentOS7开源平台下的分布式集群。实验环境的整体拓扑图如图2所示，其中Ambari分布式集群由4个节点组成，包括1台服务器主节点Master和3台服务器作为从节点，分别为Slave1、....

图3不同模糊指数下的融合率对比

同时，为验证本设计的并行融合方法比常规的FCM融合方法在单台服务器上运行的时间效率和数据融合率更高，通过控制大数据集群工作的服务器数量，来进行时间效率和数据融合率的对比。图4和图5分别给出了不同模糊指数下改进的并行融合方法和常规的FCM融合方法的运行时间和数据融合率对比图。图4....

图5融合率对比

图4运行时间对比由图4可知，本算法提出的基于MapReduce编程模型的并行融合方法比常规的FCM融合方法在运行效率上有明显的优势，当1≤m≤3时，消耗的时间缩短，当m>3时，融合所需要的时间开始变长，并随着模糊指数的增大趋向平稳，虽然当m=3时所消耗的时间最短，但是从图5可知....

本文编号：3986907