网络空间安全日志关联分析的大数据应用

发布时间：2021-12-12 09:57

　　近年来随着互联网的快速发展,网络安全形势也更加严峻。针对日志数据的关联分析逐渐成为挖掘网络安全事件的关键技术。传统的关联分析算法主要以频繁项集挖掘为主,但随着大数据时代的到来,安全日志数据规模陡增,数据形式更加复杂多样,频繁项集的生成效率日渐成为数据分析的主要瓶颈。本文从安全数据分析需求和传统算法的不足出发,综合了大数据技术应用的必要性,探讨了基于大数据的关联算法的改进方向,并对典型的算法模型进行了深入的讨论剖析。 

【文章来源】：网络新媒体技术. 2020,9(03)

【文章页数】：7 页

【部分图文】：

基于 Spark 框架的FP-Growth

基于MapReduce并行的FP-growth 算法

其中针对频繁模式挖掘算法的性能,研究人员从频繁模式挖掘的执行运行时间和内存消耗两个方面进行了大量的实验测试。根据Meenakshi等人[18]给出的实验结果,挖掘平均事务大小为15的频繁项集在水平布局数据中的平均执行运行时间为30.87s;挖掘平均事务大小为28的频繁项集在水平布局数据中的平均执行运行时间为34.01s。这说明无论数据库采用何种布局,挖掘频繁项集所需的时间一定会随着数据量的增加而急剧增加。此外,挖掘平均事务大小为15的频繁项集平均需要37.63 MB的内存。这表明,当数据规模大幅度增加时,内存消耗肯定也会相应增加。由上述分析可知,传统的关联分析算法普遍受制于这两种因素而很难适应海量安全日志数据的应用环境,故我们引入了大数据框架来尝试解决计算问题的瓶颈。图3 基于MapReduce并行的FP-growth 算法

【参考文献】：
期刊论文
[1]基于Spark的并行FP-Growth算法优化与实现[J]. 陆可,桂伟,江雨燕,杜萍萍.  计算机应用与软件. 2017(09)
[2]IABS:一个基于Spark的Apriori改进算法[J]. 闫梦洁,罗军,刘建英,侯传旺.  计算机应用研究. 2017(08)
[3]基于Spark的Apriori算法的改进[J]. 牛海玲,鲁慧民,刘振杰.  东北师大学报(自然科学版). 2016(01)
[4]网络安全分析中的大数据技术应用[J]. 王帅,汪来富,金华敏,沈军.  电信科学. 2015(07)
[5]一种基于MapReduce的并行FP-growth算法[J]. 杨勇,王伟.  重庆邮电大学学报(自然科学版). 2013(05)
[6]基于MapReduce的海量事件日志并行转化算法[J]. 窦蒙,闻立杰,王建民,闫志强.  计算机集成制造系统. 2013(08)
[7]一种基于日志关联分析的取证模型[J]. 周建华.  计算机时代. 2007(10)



本文编号：3536465