基于日志分析的大数据威胁感知系统的研究

发布时间：2020-09-07 16:32

　　随着互联网技术的快速发展,网络安全问题日益严峻。面对日益复杂的网络结构,网络威胁变得更加多元性和破坏性。传统的安全工具如Snort和防火墙,通过规则对单条日志进行匹配分析,不能捕捉完整的攻击行为,往往会出现误报和漏报的问题,而且规则编写依赖经验丰富的安全技术人员的专家知识,系统的泛化能力弱,实现成本高。本文提出一种基于日志分析的大数据威胁感知系统,利用机器学习模型搭建系统两道防线,实现既快速又精确地感知网络威胁,并对系统模型进行可解释性研究,且对预测结果和可解释性研究结果进行展示。在威胁感知系统中,训练样本是整个系统的基础,特征的完备性、有效性和标注的准确性关系着整个系统的性能。本文研究和设计了构建行为特征和状态特征的方法,并对特征设计降维和降参方法。针对标注不准确和标注样本少的问题,设计了基于自适应损失的半监督学习模型,对样本进行重新标注(净化)和标注(扩充)。整篇论文的具体工作内容如下:1.查阅文献总结威胁感知系统的研究背景和意义以及相应技术的研究现状,从中分析出本文系统的设计目标和思路。2.对实现系统的关键技术的实现原理进行研究并总结其特点和使用技巧。关键技术包括大数据平台技术、传统日志分析技术、机器学习模型、可解释性模型和展现层技术。3.分析传统构建特征方法的缺点,提出构建行为特征和状态特征的方法,并提出了降低稀疏行为特征维度和网络参数个数的办法。分析数据采集过程中出现的两大问题,提出了基于自适应损失函数的半监督学习模型解决思路,并评估了半监督学习模型的性能。4.设计威胁感知系统的架构和训练、预测流程。对系统中日志采集模块、日志匹配模块、日志检测模块、日志分析模块和结果展现模块进行详细地设计实现。5.通过实验训练和评估系统,保证了系统的可靠性和稳定性。介绍了系统训练的流程、调参思路和部分实验结果,并评估系统,最后分析模型可解释性的研究结果。最后,本文实现了基于日志分析的大数据威胁感知系统。通过实验表明,本系统能够精确高效地定位威胁,同时具有低误报率和漏报率的特点。模型可解释性的研究结果,一方面验证了系统可靠性,另一方面揭示了系统脆弱点和攻击者的攻击手段,帮助安全人员管理运维服务器。
【学位单位】：北京邮电大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP393.08;TP311.13
【部分图文】：

自定义,分布式服务,支持文件,恢复机制

一，到至关重要的作用，Ｈｕｍｅ能将多个服务器产生的曰志信息统一收集到ＨＤＦＳ，逡逑Ｓｐａｒｋ技术提供分布式的数据处理技术，论文中的特征构建、规则库的建立和逡逑ＸＧＢｏｏｓｔ的训练都通过Ｓｐａｒｋ平台实现，极大地提高了系统处理速度。逡逑２．１．１邋Ｆｌｕｍｅ逡逑Ｆｌｕｍｅ是ｃｌｏｕｄｅｒａ开发的可靠可用的分布式服务，用于收集和聚合大量的曰逡逑志数据。Ｆｌｕｍｅ具有灵活的体系结构，满足分布式系统健壮性和容错性，实现了逡逑故障转移和恢复机制，它还提供了简单可扩展的接口，方便开发人员进行自定义逡逑扩展。逡逑Ｆｌｕｍｅ由ｓｏｕｒｃｅ、ｃｈａｎｎｅｌ和ｓｉｎｋ三部分构成，ｓｏｕｒｃｅ是系统输入，监控数据逡逑源，当数据源被修改后上传到ｓｉｎｋ指定的输出，支持文件、文件夹和端口等数据逡逑源；ｓｉｎｋ是系统输出，支持输出到文件、ＨＤＦＳ和ｋａｆｋａ等，而ｃｈａｎｎｅｌ负责将输逡逑入ｓｏｕｒｃｅ和输出ｓｉｎｋ嫁接起来。Ｆｌｕｍｅ支持自定义ｓｏｕｒｃｅ和ｓｉｎｋ结构，如下图逡逑所示：逡逑

算子,矩形,计算模型,日志分析

逦＃逡逑图２－２邋Ｓｐａｒｋ计算模型逡逑图２－２中每个矩形小框都是一个ＲＤＤ，邋ｓｔａｇｅ划分的依据是ＲＤＤ算子操作逡逑是宽依赖还是窄依赖，在ｔｒａｎｓｆｏｒｍ算子中的计算都是惰性的，并不能立即得到逡逑执行，它要等ａｃｔｉｏｎ操作触发后才能触发生效。ａｃｔｉｏｎ操作触发Ｓｐａｒｋ提交Ｊｏｂ逡逑（作业），将数据结果传输给Ｓｐａｒｋ系统并存储到ＨＤＦＳ。逡逑２．２传统日志分析技术逡逑传统的日志分析技术利用安全从业人员或研究人员精湛的技术和丰富的经逡逑验，形成一系列规则，再对日志数据进行模式匹配，从而分析出网络安全状况。逡逑为了适应网络威胁的多变性，这些技术往往提供自定义规则的接口［１７］，让安全管逡逑理人员能灵活地结合自身的网络环境自定义规则来搭建感知系统。逡逑按照一次分析日志数量分类，传统的日志分析技术分为基于模式匹配的单条逡逑日志分析技术和基于攻击图的多条日志分析技术，这两类技术提供了本文系统第逡逑一道防线的搭建思路

图模型,日志分析

逦＊逦＃逡逑图２－２邋Ｓｐａｒｋ计算模型逡逑图２－２中每个矩形小框都是一个ＲＤＤ，邋ｓｔａｇｅ划分的依据是ＲＤＤ算子操作逡逑是宽依赖还是窄依赖，在ｔｒａｎｓｆｏｒｍ算子中的计算都是惰性的，并不能立即得到逡逑执行，它要等ａｃｔｉｏｎ操作触发后才能触发生效。ａｃｔｉｏｎ操作触发Ｓｐａｒｋ提交Ｊｏｂ逡逑（作业），将数据结果传输给Ｓｐａｒｋ系统并存储到ＨＤＦＳ。逡逑２．２传统日志分析技术逡逑传统的日志分析技术利用安全从业人员或研究人员精湛的技术和丰富的经逡逑验，形成一系列规则，再对日志数据进行模式匹配，从而分析出网络安全状况。逡逑为了适应网络威胁的多变性，这些技术往往提供自定义规则的接口［１７］，让安全管逡逑理人员能灵活地结合自身的网络环境自定义规则来搭建感知系统。逡逑按照一次分析日志数量分类，传统的日志分析技术分为基于模式匹配的单条逡逑日志分析技术和基于攻击图的多条日志分析技术

【相似文献】