基于Spark平台的网络入侵检测关键技术研究

发布时间：2022-01-04 13:00

　　入侵检测作为一种动态的网络安防手段,可以有效地保护计算机系统和网络免受入侵,并与静态安防手段相辅相成,共同构成网络安全防线。近几年,基于数据挖掘的网络入侵检测技术逐渐成为研究的热点,然而在研究的过程中存在一些问题,如数据中存在冗余特征影响检测效果,算法难以处理异常数据且处理大规模数据速度慢等。因此,本文通过特征选择方法,以及结合分布式计算平台Spark对网络入侵检测进行深入研究。具体的工作如下:1.针对网络入侵检测数据中含有冗余和噪音特征影响检测效果,以及数据维度过高使得分类器训练和检测时间过长的问题,提出了一种基于自适应遗传算法的混合特征选择方法。首先,通过卡方（Chi Square,CS）过滤算法,删除冗余和相关性低的特征。其次,采用Light GBM分类器结合自适应遗传算法构成混合特征选择方法,搜索分类效果好的特征子集。实验结果表明,该方法相比于过滤和封装方法具有更好的特征约简能力,且选择后的特征子集在不同分类器上有较高的检测率和较低的误报率。2.针对K-均值算法在处理网络入侵检测中的线性不可分数据以及类分布为非椭圆分布时聚类效果较差的问题,提出了一种基于高斯核函数的并行K-均值... 

【文章来源】：重庆邮电大学重庆市

【文章页数】：74 页

【学位级别】：硕士

【部分图文】：

C4.5(d)SVM三种过滤算法在不同特征数目时的分类正确率

重庆邮电大学硕士学位论文(a)NB(c)C4.5图3.6不同特征选择方法在各分类器上的在图3.6中，通过本文所提的特征子集在NB、LR、C4.5分类模型得到AUC值最小，说明C4.5和SVM的AUC值比较接近，其中获得了最高的AUC值，且CSGA+SVM清楚地对比各个特征选择方法在和0-1之间，如图3.7所示。(a)FPR缩放到0-0.01图3.7不同特征选择方法在第3章基于自适应遗传算法的混合特征选择方法36(b)LR(d)SVMROC曲线和AUC值CSGA与IG、RelifF、GA特征选择方法选择后的和SVM上进行对比。在这几种检测模型中，使用LR分类模型的检测效果弱于其它三种模型。CSGA和其他三种特征选择方法在优于SVM和其他三种特征选择方法。为了SVM上的ROC曲线，将FPR的值缩放到0.01(b)FPR缩放到0-1SVM上的ROC曲线和AUC值LRNB、SVM上0-0.011

重庆邮电学硕士学位论文第4章基于高斯核函数的并行K-均值优化算法41题时，数据映射到特征空间时维度会很高，这会导致变换函数)(不能明确表示并且计算(x),(y)也是非常困难，其中,表示内积。为了解决特征空间中内积计算困难的问题，可以通过K(xy)(x),(y)函数转换到原始输入空间中进行计算，其中K()就是核函数。核函数不仅可以有效解决特征空间维度灾难的问题，而且不需要明确知道变换过程中)(转换函数的具体形式，只需要将输入空间中的内积x,y替换一个合适的核函数。图4.2输入空间到特征空间的映射选择核函数时优先考虑选择正（半）定Gram矩阵，可以确保核函数是连续的。此外满足Mercer定理的函数都是半正定函数，意味着它们的核矩阵只存在非负特征值。使用满足Mercer定理的核函数可以确保优化问题是凸的，并且解决方案将是唯一的。核函数主要分为内积核函数和平移不变核函数，如：(1)多项式核函数(,)[1]TdiiKxxxx(4.1)(2)高斯核函数2(,)exp(||||)iiKxxqxx(4.2)(3)Sigmoid核函数(,)tanh(()),0,0iiKxxxx(4.3)其中最常用的是高斯核函数，因为基于高斯核函数映射的特征空间是无穷维的，入侵检测非线性数据在该特征空间中一定可以线性可分。因此在本章中都采用高斯核函数作为核K-均值的映射函数。

【参考文献】：
期刊论文
[1]一种融合蚁群算法和随机森林的特征选择方法[J]. 李光华,李俊清,张亮,辛衍森,邓华伟.  计算机科学. 2019(S2)
[2]基于LSTM流量预测的DDoS攻击检测方法[J]. 程杰仁,罗逸涵,唐湘滟,欧明望.  华中科技大学学报(自然科学版). 2019(04)
[3]国家信息安全漏洞通报[J].   中国信息安全. 2019(02)
[4]基于LightGBM的网络入侵检测系统[J]. 莫坤,王娜,李恒吉,李朝阳,李剑.  信息安全研究. 2019(02)
[5]基于云模型与决策树的入侵检测方法[J]. 郭慧,刘忠宝,柳欣.  计算机工程. 2019(04)
[6]基于Xgboost算法的网络入侵检测研究[J]. 张阳,姚原岗.  信息网络安全. 2018(09)
[7]数据加密技术在计算机网络安全中的应用价值分析[J]. 吴义三.  电脑知识与技术. 2018(08)
[8]机器学习在网络空间安全研究中的应用[J]. 张蕾,崔勇,刘静,江勇,吴建平.  计算机学报. 2018(09)
[9]人工蜂群算法优化的特征选择方法[J]. 巢秀琴,李炜.  计算机科学与探索. 2019(02)
[10]基于信息增益特征选择的网络异常检测模型[J]. 刘汝隽,贾斌,辛阳.  计算机应用. 2016(S2)

硕士论文
[1]基于贝叶斯网络的网络入侵检测模型研究[D]. 薛孟阳.中国矿业大学 2019
[2]基于机器学习的网络入侵检测技术的研究[D]. 王杰.西安电子科技大学 2018
[3]基于Spark的网络入侵实时检测算法研究[D]. 王欣颖.成都理工大学 2018
[4]基于机器学习的入侵检测算法研究[D]. 王淇艺.北京邮电大学 2018
[5]基于互信息的特征选择在入侵检测中的优化研究[D]. 向婵.昆明理工大学 2018
[6]基于深度学习的网络入侵检测技术研究[D]. 于洋.国防科技大学 2018
[7]蚁群算法在网络入侵特征选择上的应用研究[D]. 王峰.湖南大学 2017
[8]基于核聚类和序列分析的网络入侵检测方法的研究[D]. 罗程.广西大学 2005



本文编号：3568386