基于大数据的网络安全态势感知模型研究

发布时间：2020-06-02 05:59

【摘要】：随着网络基础设施的完善和物联网技术的发展,网络成为日常生活中不可或缺的要素并使得事物之间的联系更加紧密。大数据时代,网络规模和数据量的爆炸性增长演化出网络大数据,这影响和改变了人们的工作和生活。同时,社会各界都非常重视网络安全问题,基于大数据的网络安全态势感知的研究成为网络安全领域的新热点。网络大数据是指基于网络环境的多元世界互动所产生的大数据。这些数据是广泛可用的、多源异构的、有高噪声的并且交互性和突发性强。其中不仅包含丰富的非结构化数据和复杂的关联知识,而且数据以动态快速生成的流式数据的形式存在有很强的时效性。在诸多网络安全态势感知技术中,主要的方法是通过分析网络中的数据记录来识别网络行为及其可能造成的影响。然而,在大数据背景下,现有的网络安全态势感知模型资源开销大、分析结果的精度低、准确率低、处理效率低、不能应用于实时和大规模的场景等缺点。为克服这些缺陷和不足,本文结合网络大数据的特征,提出了四种基于分布式数据分析技术的网络安全态势感知模型。首先,基于神经网络的网络安全态势感知模型。在模型中根据数据记录的特征进行数据的简化和清洗,从而解决数据多源异构和高噪声的问题。并以三层前馈神经网络作为模型的核心,利用神经网络的误差逆反馈策略提高模型分析的精度和准确率。其次,基于随机森林的网络安全态势感知模型。模型通过数据特征分析对数据进行降维处理,从而突出数据记录的特征属性并减少无效数据,以此降低模型的资源开销和对网络硬件设备配置的依赖。随机森林算法作为模型的核心,它使模型能够区分各种网络行为活动。第三,基于星型结构的网络安全态势感知模型。在这个模型中,数据记录关联性和独立性问题可以通过优化关联规则挖掘算法来解决。基于朴素贝叶斯算法作为模型的核心,通过局部预测结果的融合高效的分析整个网络环境的变化趋势。第四,自适应网络安全态势感知模型。模型利用数据特征动态生成网络态势异常库,有效的解决了快速动态生成的网络数据流的分析和处理问题。以动态时间规整算法作为模型的核心,结合离线学习和在线学习的特点分析处理流式网络大数据,使得模型能够有效应对数据流的广泛性、突发性和无序性等问题。本文提出的四种模型是专门为解决大数据问题而设计的解决方案,模型的结构复杂并与分布式平台相集成,这能够有效解决资源开销、分析精度和实时性等问题。它们的基本思路是通过多种不同的并行化算法分别实现模型的不同功能,首先对网络大数据进行清洗预处理,然后,对预处理的数据进行安全态势的理解分析,根据理解的结果得出安全态势的感知结果。本文提出的四种模型应用在大规模数据集上有着良好的效果。
【图文】：

对比图,行时间

图 2.8 并行和串行时间对比图中可以看出，模型在分布式平台上并行化的运行所消耗的时间更更高。从实验结果得出面对大数据量时，分布式并行化处理是一种了进一步验证该模型的处理效率和性能，设计并实现了四组比对实一样的实验环境下，对同一数据集使用了模型中的四种不同的算法如图 2.9 所示。在第一种方法中只使用分布式并行化的聚类算法来对行分析。从图中可以看出，实验结果很差。因为，数据的高维度影算法的准确性。第二种方法中加入降低数据维度的操作，，然后再对理。检测率有了很大提高。数据降维后效果非常好。因此，在第三采用经过同样降维处理的数据集，然后对数据集进行关联规则分析于神经网络的网络安全态势感知模型。首先进行数据清洗，然后进分析。利用神经网络对初步分析结果进行调整，得到最终结果。如文提出的模型的检测率最高。

四种方法,检测率

图 2.9 四种方法的检测率比较为了验证分布式并行化模型的加速性，本次实验选择了 1-5 节点作为实选取“并行和串行时间对比”实验中最大的数据作为测试数据集。加速计算公式如下:（2T1：在单机环境中的串行所消耗的时间，T2：在集群的分布式环境中并行所消耗的时间。验结果如图 2.10 所示。如图中所示节点数量不断增加，模型的加速随之上升。然而，当节点数目为 3 到 4 时，曲线的增长速率变缓慢。增加节点数量导致它们相互之间的通信成本增大。节点之间的通信将资源和时间。从实验中可以看出，基于神经网络的网络安全态势感知确率，误检率，时间和效率等方面表现良好。
【学位授予单位】：华侨大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP393.08

【参考文献】