保持依赖关系的实时日志压缩系统的设计与实现

发布时间：2021-01-11 22:01

　　近年来,APT攻击对政府、企业等大型机构的威胁不断增强。在检测到攻击后,需要通过取证分析来判定操作系统日志事件间的依赖关系,快速定位入侵点,并确定攻击造成的影响。但在实际场景中,大型机构往往需要存储PB级别的数据以满足取证分析的需求,这不仅带来了巨大的存储开销,还急剧增加了取证分析的运算和时间成本。因此,如何在不影响取证分析结果准确性的前提下,进行日志数据的压缩,是亟待研究的重要课题。目前,相关工作提出的解决方案仅适用于离线存储数据或特定类型事件,无法兼顾实时性、普适性等需求,实用性差。为解决上述问题,本文进行以下研究:1)设计了两种实时日志压缩算法:保持全局依赖算法和仅保留攻击语义算法。前者判定并删除不影响全局依赖关系的冗余事件,后者基于绝大多数取证分析的目标是还原攻击链路这一事实,对前者压缩后剩余的事件进行上下文分析,删除攻击无关事件。两种算法均在日志层面实现,不涉及程序内部分析,可处理文件、网络等多类事件,也不依赖于具体的操作系统类型,应用场景广泛。2)基于两种日志压缩算法在Windows平台上实现了一套原型压缩系统,以验证算法的正确性、通用性与高效性。系统由多类型事件实时采集,... 

【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校

【文章页数】：76 页

【学位级别】：硕士

【部分图文】：

正常活动下的客户端性能监视

浙江大学硕士学位论文第5章系统测试与分析53图5-2存在攻击活动的客户端性能监视服务器端在对T-1进行处理时，使用top和pmap命令监视性能开销，结果如图5-3所示，内存在23MB上下波动，单核CPU开销均值为5%，负载极低。而在对T-1、T-2进行并发处理时，性能开销如图5-4所示，内存在42MB上下波动，单核CPU开销均值约为13%。由实验结果可知，系统开销会随着并发数的增加而线性增长。因此，在真实场景中，可以根据服务器的性能来设置合理的并发数，以满足多台客户机的压缩需求。表5-9展示了T-1、T-2中的原始事件总数和各类事件占比。表5-10展示了两种算法对各类事件的压缩比和事件存入数据库后的磁盘开销。实验结果证明了GD和AS实时模式的有效性，以及对离线数据、实时数据的通用性。图5-3服务器处理单台机器数据的性能开销

浙江大学硕士学位论文第5章系统测试与分析53图5-2存在攻击活动的客户端性能监视服务器端在对T-1进行处理时，使用top和pmap命令监视性能开销，结果如图5-3所示，内存在23MB上下波动，单核CPU开销均值为5%，负载极低。而在对T-1、T-2进行并发处理时，性能开销如图5-4所示，内存在42MB上下波动，单核CPU开销均值约为13%。由实验结果可知，系统开销会随着并发数的增加而线性增长。因此，在真实场景中，可以根据服务器的性能来设置合理的并发数，以满足多台客户机的压缩需求。表5-9展示了T-1、T-2中的原始事件总数和各类事件占比。表5-10展示了两种算法对各类事件的压缩比和事件存入数据库后的磁盘开销。实验结果证明了GD和AS实时模式的有效性，以及对离线数据、实时数据的通用性。图5-3服务器处理单台机器数据的性能开销


本文编号：2971556