基于Hadoop的云安全日志分析技术研究

发布时间：2023-12-23 17:15

　　随着互联网+时代的来临,网络安全事件层出不穷,尤其是在大数据时代,网络安全性显得格外重要,日志数据作为大数据中一个重要的分支,记录设备运行状态的重要途径,通过分析日志作为可事前防护、事后追责的安全审计手段,可以实时掌握网络安全态势,制定一系列切实可行的安全防御方案,提高网络安全性。日志挖掘的技术层出不穷,随着网络的不断发展,在面对新型或无先验规则的攻击模式下,聚类分析在数据挖掘中应用的更为广泛,因此,基于聚类的日志分析方法在面对瞬息万变的网络环境有着重要的研究价值与意义,此外,安全日志作为记录网络安全设备运行的审计手段,越来越得到人们的重视,甚至被称为“暗数据”,其蕴藏的价值不言而喻,单机模式下的日志分析在处理小数据集时较有优势,可是当面对每日以PB级增长的数据量时,显得捉襟见肘。为此,如何存储与分析海量安全日志成了当下日志分析的研究重点。针对以上存在的问题,本文基于Hadoop环境下对海量安全日志分析技术做了深入的研究,依托现有的研究背景与现状,优化了聚类经典算法K-Means,并将其实现了并行化,实现了海量日志的并行化分析,最后设计了一个日志分析追责系统,并对其相关性能进行了测试。...

【文章页数】：69 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景与意义
    1.2 研究现状
    1.3 论文的主要工作及结构
        1.3.1 论文的结构
        1.3.2 论文的主要工作
第二章 关键技术
    2.1 日志分析基础
        2.1.1 日志采集
        2.1.2 日志类型与格式
    2.2 日志挖掘
        2.2.1 Web日志挖掘
        2.2.2 日志挖掘流程
        2.2.3 数据挖掘
        2.2.4 日志挖掘中的聚类
    2.3 Hadoop
        2.3.1 HDFS
        2.3.2 Map/Reduce
    2.4 本章小结
第三章 基于MMD及均值思想的K-Means算法改进
    3.1 传统K-Means算法特点
        3.1.1 K-Means算法的优点
        3.1.2 K-Means算法的缺陷
        3.1.3 相关概念
    3.2 基于MMD及均值思想的K-Means算法改进
        3.2.1 基于MMD及均值思想的K-Means算法改进
        3.2.2 算法准确率验证
    3.3 本章小结
第四章 基于Map/Reduce的K-Means的并行化实现
    4.1 基于Map/Reduce的K-Means的并行化整体设计思路
    4.2 基于Map/Reduce的改进的K-Means并行化框架
    4.3 并行化实现的具体步骤
    4.4 本章小结
第五章 日志分析追责系统的研究与设计
    5.1 系统研究基础
        5.1.1 系统需求分析
        5.1.2 技术路线
    5.2 系统环境及框架设计
        5.2.1 数据层
        5.2.2 分析层
        5.2.3 展示层
    5.3 系统模块设计
        5.3.1 日志采集
        5.3.2 日志预处理与存储
        5.3.3 日志分析
        5.3.4 界面展示
    5.4 本章小结
第六章 系统环境部署与测试
    6.1 环境搭建
    6.2 性能测试
        6.2.1 评价指标
        6.2.2 日志采集与处理能力验证
        6.2.3 并行化性能验证
    6.3 本章小结
第七章 总结与问题及展望
    7.1 总结
    7.2 问题及展望
参考文献
致谢
攻读学位期间发表的学术论文



本文编号：3874173