基于数据挖掘的APT攻击检测方法研究与实现

发布时间：2020-10-14 01:18

　　 近年来,在互联网通信技术快速发展的背景下,人们的信息生活愈加便利,各种企业与组织也更加依赖于信息化系统。在各种企业与组织利用信息化便利的同时,由于信息化系统的脆弱性以及安全机制的不足,也增加了重要信息资产被窃取的风险。在这样的背景下,针对企业与组织重要机密信息的攻击,以包括且不限于窃密、破坏重要设施等目标的高级持续性威胁(Advanced Persistent Threats,下文简称APT)逐渐增多。APT攻击一般可以通过躲避IDS系统的检测来隐匿其攻击过程。由于这一特点的存在,传统的IDS系统在应对APT攻击时就有可能漏掉关键攻击过程。使用全部网络流量进行分析可以保证攻击中的网络数据被完整保留下来。但是如果使用全流量作为分析的原始数据,由于一次攻击极有可能持续时间较长,从茫茫网络流量中找出APT攻击也对攻击行为的检测提出了挑战。目前对APT攻击相关的研究也存在着许多的问题。基于IDS告警的APT攻击发现方法往往由于攻击者通过Oday漏洞等方式可以绕过IDS而导致攻击关键步骤对应警告的缺失,从而导致检测分析的数据不够完善,影响准确率;另一方面,基于流量日志的分析方法使用的机器学习方法多采用有监督的方法,然而有监督的方法比较依赖训练数据的标记准确性和训练数据与预测数据同分布这一特性。考虑到APT攻击往往涉及到机构或组织重要信息资产,并且涉及的数据量较大而不易标注,高质量的训练数据的获取并不容易。针对以上问题,本文进行了深入研究,主要工作如下:(1)为了解决长时间窗口下采集到的数据量巨大不便于分析的问题,在对APT攻击流量日志数据分析的基础上,提出了基于流行度和连接方向的流量日志缩减算法,在此基础上提供了一种高效的流量日志缩减技术;(2)面对有标记的真实数据缺乏的问题,提出了利用匿名数据集针对APT攻击中C2阶段网络行为的检测模型:首先针对C2域名访问记录,提出了多个基于DNS行为规律的特征,并将这些特征与流量特征进行了融合;基于这些特征,模型使用iForest异常检测算法评估数据集。(3)设计并实现一个APT攻击检测框架,将以上算法和模型纳入其中,使其具有了线上处理数据的能力;提出了数据缩减算法的线上方案,使其具备扩展能力和抗流量高峰能力;提供交互界面使框架具备对时间窗口等参数的灵活配置能力,也为安全人员提供了友好的操作接口。(4)通过大规模组织内部采集的数据结合仿真数据进行了实验,对数据缩减算法和APT攻击检测模型进行了验证,实验结果表明算法具备一定的在大数据量下对APT攻击检测的能力,并且可以给出疑似被感染主机,为进一步的检测分析提供可靠的入手点。(5)在上文所提方法的基础上,对方法和框架进行总结分析,讨论了其中存在的问题,并提出了进一步优化的方向。
【学位单位】：北京邮电大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP393.08;TP311.13
【部分图文】：

ｓ，ａｒｅｏｓｏｎｖｙ加端口来对Ｃ２服务器进行定位。对ＡＰＴ攻击中涉及的恶意域名的检然是一个挑战。ＡＰＴ攻击由于其攻击目标明确且花费代价相对较大，因具有良好的隐蔽性，攻击者刻意控制域名的行为，其域名行为往往很难域名行为进行区分。ＡＰＴ攻击中使用的域名也展现出了与僵尸网络或软件不一样的特点：Ａｐｔ攻击中使用的域名往往不使用恶意ｆｌｕｘ服务名［８］。同时针对大型机构、企业或者ＩＳｐ的巨量的网络流量进行分析有挑战的任务。??ＡＰＴ生命周期??于ＡＰＴ攻击的生命周期在现有的研宄中有很多种划分方式，其中杀伤最为著名的阶段划分方式。杀伤链模型将一次攻击分为多个步骤：侦，投放，利用，植入，命令＆控制（Ｃｏｍｍａｎｄ＆Ｃｏｎｔｒｏｌ）、持续攻击七个许多攻击阶段划分模型在杀伤链模型的基础上对阶段划分进行了改善。??

无监督异常检测的思想主要是发现数据集中不同于正常数据的异常数据。对??于不同于正常数据这一概念，研究者［２１］提出了三种不同类型的异常：全局异常??点，局部异常点和微小簇［２７］，参考图２－１中ｘ２，?ｘ３与Ｃ３。由于对异常的定义并??不是一种绝对的类别划分，无监督异常检测方法通常仅能得到样本数据的异常排??名。??１３??

功的攻击并在目标系统内找到相应的立足点之后，攻击者与目标系统进行的交互??都由目标系统内被感染主机发起的，之后交由Ｃ２服务器进行中转，再达到攻击??者的。其模式如图３－１所示。而Ｃ２服务器一般都是一台或多台被攻击者控制的??肉鸡服务器，通常处于目标系统的外部。因此我们可以通过这一点来将采集的网??络日志进行一个简单的划分，即通过网络连接的方向将网络流量日志进行划分：??由内部主机发起并且目标地址是外部主机的连接，由外部主机发起的连接以及内??部主机向内部主机发起的连接。由于本文提出的模型重点研宄被感染主机在Ｃ２??阶段的行为，因此我们只需要保留由内部主机发起并且目标地址是外部主机的数??据，即上文中目的主机位于外网的日志记录，这样我们就在一定程度上缩减了数??据的总量。??目标系统网络?厂＇?—、＆二＆了―、??公开服务１??Ｃ２服务器１??被控主机?１?、Ｉ???１?Ａ??，??：?击??被控主机?２?，??????公开服务２?｜??０２服务器２??被控主机３?—????｜??；??；?＇?＇?；??????、、?ｙ??图３－１?Ｃ２工作方式??基于流行度的方法与我们针对网络流日志的缩减算法的主要思想与对ＤＮＳ??日志的数据缩减算法思想基本相同
【相似文献】

相关期刊论文 前10条

1 ABENSTIN JP;TOMPKINS WJ;李长运;;实时心电图分析的新数据缩减算法[J];国外医学.生物医学工程分册;1984年02期

2 田浩;孙剑伟;;基于卫星数据缩减的传输优化技术研究与实现[J];软件;2017年02期

3 邹涛;苗青;刘丽;张翠;;网络文本内容取证系统中的数据缩减性能分析[J];通信学报;2009年S1期

4 杨祥清;;存储系统数据去重策略研究[J];信息通信;2014年08期

5 ;SEPATON携手Hifn提供业内性能最高的数据缩减解决方案[J];现代通信;2007年Z3期

6 ;MPEG压缩[J];今日电子;2007年07期

7 孙立新;高文;王实;;数据挖掘中的三维缩减[J];计算机科学;2000年07期

8 王晓琪;李强;闫广华;玄光哲;郭东;;高级持续性威胁中隐蔽可疑DNS行为的检测[J];计算机研究与发展;2017年10期

9 姜红德;;全闪存“大佬”进军中国的数据逻辑[J];中国信息化;2019年02期

10 李洪伟;刘君鹏;李涛;周云龙;孙斌;;基于相空间重构与数据缩减分频段小波的小通道气液两相流动力学特性分析（英文）[J];Chinese Journal of Chemical Engineering;2015年06期

相关硕士学位论文 前4条

1 钟瑶;基于数据挖掘的APT攻击检测方法研究与实现[D];北京邮电大学;2019年

2 王晓琪;高级持续性威胁中隐蔽可疑DNS行为的检测[D];吉林大学;2018年

3 冯剑;空地数据链系统中一种图像数据缩减方案及关键算法的研究[D];吉林大学;2005年

4 翁彬;B样条曲线和圆域B样条曲线数据缩减的研究[D];福建师范大学;2006年

本文编号：2839964