基于大数据技术的网络异常行为检测模型

发布时间：2021-03-25 09:02

　　针对传统的网络异常检测受数据存储、处理能力的限制,存在准确率较低、误报率较高以及无法检测未知攻击的问题;在Spark框架下结合改进的支持向量机和随机森林算法,提出了一种基于大数据技术的网络异常行为检测模型;使用NSLKDD数据集进行了方法验证,表明该方法在准确率和误报率方面明显优于传统的检测算法,整体检测的准确率和误报率分别为96.61%和2.92%,DOS、Probe、R2L和U2R四种攻击类型的准确率分别达到98.01%、88.29%、94.03%和66.67%,验证了方法的有效性。 

【文章来源】：计算机测量与控制. 2020,28(03)

【文章页数】：6 页

【部分图文】：

网络行为历史数据查询展示

基于大数据的网络异常行为检测模型

2)Map阶段。每个Executor将数据子块里的原始DataFrame用transform（）方法转化成适合SVM算法输入格式的DataFrame，创建一个Pipeline对象，同时设置对应的多个顺序执行的PipelineStage，构建SA优化的SVM算法对象并设置参数，然后调用fit（）方法对SA优化的SVM分类器进行迭代训练产生一个SA＿SVMModel。接着调用SA＿SVMModel的transform（）方法得到新的DataFrame，并将其传入下一个Stage（即RF算法），RF算法用同样的方法得到Model。3)Combine阶段。Combine阶段位于Map和Reduce之间，通过Combiner对象，将所有数据子块以及Map阶段得到的局部模型Model洗牌后合并，交予Reduce阶段。

【参考文献】：
期刊论文
[1]基于大数据技术的网络异常行为分析监测系统[J]. 王萍.  电子技术与软件工程. 2017(24)
[2]基于大数据的网络安全与情报分析[J]. 陈兴蜀,曾雪梅,王文贤,邵国林.  工程科学与技术. 2017(03)

博士论文
[1]基于深度学习的网络异常检测技术研究[D]. 尹传龙.战略支援部队信息工程大学 2018

硕士论文
[1]基于大数据的网络异常行为检测平台的设计与实现[D]. 李若鹏.华南理工大学 2018
[2]入侵检测系统中特征选择算法与模型构建方法的研究[D]. 于洋.兰州大学 2017



本文编号：3099429