基于在线集成学习的入侵检测方法研究

发布时间：2020-08-20 18:19

【摘要】：随着各类新型高新信息技术的广泛普及与互联网的迅速发展,万物互联的时代正在到来,人们的日常生活与社会分工协作得到了极大的便利。与此同时,各类互联网威胁,诸如新型病毒、蠕虫层出不穷,给企业和个人带来不可估量的信息资产损失。互联网安全问题已经成为全世界各个企业及组织必须面对的一大挑战。入侵检测技术是一种能够对来自内部或外部的网络入侵行为进行识别和响应的安全保障技术。现如今,日益复杂的网络环境及不断增长的网络流量对入侵检测系统的精准检测能力、高可用、高扩展性上提出了更高的要求。机器学习技术在解决复杂空间的入侵检测问题上已被证明是有效的方案,并被广泛用于解决现实入侵检测问题。然而,面对日新月异的入侵手段,常规的机器学习解决方案构建入侵检测系统一方面面临时效性问题,即当下网络入侵手段更新迭代速度快且传输数据量大,重复的离线批量训练将带来计算资源的开销而降低系统运行效率,入侵检测系统需要具备利用增量数据进行增量训练的能力;另一方面,入侵检测系统需要极高的稳定性来保证网络系统的安全,因此需要尽可能避免系统预测结果随着训练数据的偏差导致模型方差变大,需要对模型预测的稳定性进行控制。在入侵检测系统工程实现上,入侵检测系统需要具备良好的高可用及易扩展能力,以面对海量网络流数据的入侵检测场景。因此,针对入侵检测的问题,本文提出一种基于在线集成模型的解决方案,通过在线学习技术来满足入侵检测系统对数据时效性的要求,进而通过集成学习技术提高系统的稳定性和可靠性。本文在工程实现方面,首先对所提在线集成算法进行了算法实现与部署,进而为了应对入侵检测系统的高吞吐、低延迟的应用需求,本文将基于分布式数据平台设计合理的数据架构,完成在线集成模型高可用的分布式系统部署。首先,本文选型并实现了FTRL在线学习算法进行模型的构建和训练,并根据不断补充的时序数据构建一组在线基学习器。进而,结合模型性能,提出一种基于时序性能加权的集成的方案,降低在线模型方差,提高稳定性。随后,本文将在开源的入侵检测数据集UNSW-NB15中进行模型评估,并与其他模型方案进行对比。实验结果显示,面对未知测试数据,在线集成模型在预测指标和稳定性上均得到了更优的表现。最后,本文针对入侵检测应用设计了一套基于Hadoop分布式数据平台的分布式系统架构,采用Lambda架构实现数据的采集、预处理、离线存储、模型预测工作,保证入侵检测系统高可用、易扩展,使在线集成模型可以实时应对大吞吐量数据传输及处理。
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.08;TP181
【图文】：

分类架,入侵检测系统

检测和基于网络的入侵检测，如图 2.1 所示，这也是最为常见的入侵检测系统的类别划分。图2.1 入侵检测系统分类架构图(1) 基于主机的入侵检测系统（HIDS）基于主机的入侵检测系统作为一种早期的入侵检测系统结构[26]，从数据中心服务器主机采集的审计日志和系统数据，针对主机系统和本地用户进行入侵检测。

日志,主机,入侵检测,主机安全

西安电子科技大学硕士学位论文26图2.2 基于主机的 IDS 结构如图 2.2 所示，审计记录来源是主机的服务日志和系统日志，入侵检测器获取日志数据后，通过攻击模式的分析产生告警信息。由于日志数据型式通常无法具有丰富的维度，因此入侵检测的有效性极度依赖于系统库的可靠性。由于 HIDS 数据采集的特点，从主机层面监控主机活动，适合用于有加密的网络交换环境，且可一定程度保证主机安全，不需要添置额外的网络安全设备。另外，HIDS 还可以检测一些针对主机植入而不经过网络的攻击。不足方面，由于主机部署的特性，HIDS 必须部署在每一个节点，对操作系统的依赖性较高

混杂模式,攻击行为,机器学习,网卡

基于网络的IDS结构

【参考文献】