基于前缀树的日志模式聚类挖掘算法研究
发布时间：2023-09-24 17:43
二十一世纪是网络和信息时代,无论是个人还是企业都很依赖互联网,因此,网络安全和隐私已成为现代世界人们关注的一个重要问题。日志数据时刻记录着各种网络设备的活动,对于网络攻击、系统黑客攻击等事件的取证有着重要的意义。通过日志数据,运维人员可以实时监控系统和网络的健康状况,用户的使用情况等。但是日志数据通常数量巨大,且较难读懂,因此,对日志数据进行数据挖掘,从大量数据中提取有用的知识是非常有必要的。 网络设备具有多样性,对设备逐个查看非常耗时耗力,本课题对日志采集技术进行了系统的研究,提出了一种日志数据的分布采集和集中存储架构,将日志消息分类存储在一个集中的Syslog日志服务器上,方便对日志数据进行集中管理和统计分析。然后通过对Syslog日志服务器采集到的数据进行挖掘,得到用户行为的频繁模式聚类和非频繁模式聚类。 本文通过分析日志数据和关联规则挖掘算法,对已有的日志数据关联规则挖掘算法进行改进,提出了一种改进的日志模式聚类挖掘算法——-Improved Log-Pattern Cluster Algorithm (ILC算法)。然后将前缀树和传统的日志模式挖掘算法相结合,设计出一种基于前...
【文章页数】：73 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 研究背景
1.2 国内外研究现状
1.2.1 日志数据采集
1.2.2 事件关联挖掘技术
1.2.3 数据聚类
1.2.4 频繁模式聚类
1.3 研究内容和目标
1.3.1 日志事件集中采集研究
1.3.2 日志模式挖掘算法研究与改进
1.3.3 基于前缀树的日志模式挖掘研究
1.4 本文的组织结构
第2章 日志采集与挖掘所涉及到的技术
2.1 事件日志记录和监控
2.1.1 日志数据采集
2.1.2 Syslog日志
2.1.3 Syslog日志结构
2.1.4 Syslog日志数据集中采集
2.2 日志过滤与预处理
2.2.1 数据过滤和预处理概述
2.2.2 正则表达式
2.3 数据挖掘技术
2.3.1 数据挖掘方法
2.3.2 事件关联技术
2.3.4 关联规则挖掘
2.3.5 高维度数据聚类
2.3.6 简单事件关联
2.4 事件日志的模式挖掘
2.4.1 频繁模式挖掘算法
2.4.2 日志模式挖掘概述
2.5 本章小结
第3章 日志模式挖掘和ILC算法
3.1 日志数据的特征
3.2 日志数据采集与过滤
3.2.1 日志数据采集
3.2.2 日志数据过滤
3.2.3 双层日志分析技术
3.3 ILC算法——改进的日志模式聚类算法
3.3.1 日志事件关联挖掘概述
3.3.2 日志数据的hash查找
3.3.3 ILC算法的产生背景
3.3.4 ILC算法实现
3.3.5 BILC算法——字节偏移日志模式聚类算法
3.3.6 非频繁模式的挖掘
3.4 ILC算法和BILC算法的有效性
3.4.1 ILC算法和Apriori的比较
3.4.2 ILC算法和SLC算法的比较
3.4.3 BILC算法的优势
3.5 本章小结
第4章 基于前缀树的日志模式聚类
4.1 日志数据采集和过滤模型
4.1.1 Rsyslog日志数据采集
4.1.2 Rsyslog日志数据过滤和预处理
4.2 基于前缀树的数据聚类
4.2.1 深度优先搜索算法分析
4.2.2 基于日志特征的深度优先搜索算法
4.3 PTLC算法——基于前缀树的日志模式聚类算法
4.3.1 PTLC算法概述
4.3.2 PTLC算法的实现
4.3.3 PTLC算法的优势
4.3.4 BPTLC——字节偏移前缀树日志模式聚类算法
4.4 本章小结
第5章 实验结果分析
5.1 空间分析
5.1.1 SLC算法空间分析
5.1.2 ILC算法空间分析
5.1.3 BILC算法空间分析
5.1.4 PTLC算法空间分析
5.1.5 BPTLC算法空间分析
5.1.6 空间总结比较
5.2 时间分析
5.3 本章小结
第6章 总结与未来方向
参考文献
致谢
攻读硕士学位期间发表的论文
本文编号：3848469
【文章页数】：73 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 研究背景
1.2 国内外研究现状
1.2.1 日志数据采集
1.2.2 事件关联挖掘技术
1.2.3 数据聚类
1.2.4 频繁模式聚类
1.3 研究内容和目标
1.3.1 日志事件集中采集研究
1.3.2 日志模式挖掘算法研究与改进
1.3.3 基于前缀树的日志模式挖掘研究
1.4 本文的组织结构
第2章 日志采集与挖掘所涉及到的技术
2.1 事件日志记录和监控
2.1.1 日志数据采集
2.1.2 Syslog日志
2.1.3 Syslog日志结构
2.1.4 Syslog日志数据集中采集
2.2 日志过滤与预处理
2.2.1 数据过滤和预处理概述
2.2.2 正则表达式
2.3 数据挖掘技术
2.3.1 数据挖掘方法
2.3.2 事件关联技术
2.3.4 关联规则挖掘
2.3.5 高维度数据聚类
2.3.6 简单事件关联
2.4 事件日志的模式挖掘
2.4.1 频繁模式挖掘算法
2.4.2 日志模式挖掘概述
2.5 本章小结
第3章 日志模式挖掘和ILC算法
3.1 日志数据的特征
3.2 日志数据采集与过滤
3.2.1 日志数据采集
3.2.2 日志数据过滤
3.2.3 双层日志分析技术
3.3 ILC算法——改进的日志模式聚类算法
3.3.1 日志事件关联挖掘概述
3.3.2 日志数据的hash查找
3.3.3 ILC算法的产生背景
3.3.4 ILC算法实现
3.3.5 BILC算法——字节偏移日志模式聚类算法
3.3.6 非频繁模式的挖掘
3.4 ILC算法和BILC算法的有效性
3.4.1 ILC算法和Apriori的比较
3.4.2 ILC算法和SLC算法的比较
3.4.3 BILC算法的优势
3.5 本章小结
第4章 基于前缀树的日志模式聚类
4.1 日志数据采集和过滤模型
4.1.1 Rsyslog日志数据采集
4.1.2 Rsyslog日志数据过滤和预处理
4.2 基于前缀树的数据聚类
4.2.1 深度优先搜索算法分析
4.2.2 基于日志特征的深度优先搜索算法
4.3 PTLC算法——基于前缀树的日志模式聚类算法
4.3.1 PTLC算法概述
4.3.2 PTLC算法的实现
4.3.3 PTLC算法的优势
4.3.4 BPTLC——字节偏移前缀树日志模式聚类算法
4.4 本章小结
第5章 实验结果分析
5.1 空间分析
5.1.1 SLC算法空间分析
5.1.2 ILC算法空间分析
5.1.3 BILC算法空间分析
5.1.4 PTLC算法空间分析
5.1.5 BPTLC算法空间分析
5.1.6 空间总结比较
5.2 时间分析
5.3 本章小结
第6章 总结与未来方向
参考文献
致谢
攻读硕士学位期间发表的论文
本文编号：3848469
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/3848469.html
