基于层次聚类的日志分析技术研究
发布时间：2022-07-11 15:25
互联网的普及和迅速发展的宽带通信业务，把人们带入了一个信息极大丰富的时代。然而在给人们带来较多便利的同时，伴随而来的信息安全事件也越来越多，造成了巨大的经济损失，预防和阻止安全事件的发生变得尤其重要。日志用于记录系统日常运行的状态，检查错误发生，发现入侵时留下的线索，可以实时防止和杜绝信息安全事件的发生，因此，应用日志来进行网络安全分析已经成为一个热门的研究领域。本文重点研究了层次聚类算法Chameleon及其改进算法，在分析其存在的不足后通过引入共享近邻加权图对算法进行改进，然后将改进的算法应用到日志分析中，并结合Hadoop中的分布式存储系统（HDFS）和MapReduce机制设计了在线日志分析系统，最后，将改进的具有消息链接恢复的签密方案（Message Linkage Recovery Based on Elliptic Curve,ECMLR）对分析得到的数据及用户指定的重要日志进行保护。主要研究内容包括：1.深入研究了计算机系统日志及日志分析常用方法首先简单阐述了日志的概念、特点、作用及Windows日志的组成，然后总结了日志分析常用的方法及这些方法的优缺点，列举了部分现有...
【文章页数】：55 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 课题研究背景和意义
1.1.1 课题研究背景
1.1.2 课题研究意义
1.2 日志分析国内外研究现状
1.2.1 国外日志分析现状
1.2.2 国内日志分析现状
1.3 本文的主要研究内容
1.4 论文组织结构
第二章 计算机系统日志综述
2.1 日志相关知识
2.1.1 日志的概念
2.1.2 日志文件的特点
2.1.3 日志文件的作用
2.1.4 Windows 日志的组成
2.2 日志和事件的对应关系
2.3 日志分析常用的方法
2.3.1 关联分析
2.3.2 序列分析
2.3.3 聚类分析
2.4 现有日志分析工具
2.5 现有日志分析技术存在的问题
2.6 本章小结
第三章 基于层次聚类的日志分析
3.1 层次聚类概述
3.1.1 凝聚和分裂的层次聚类
3.1.2 簇间距离度量方法
3.1.3 日志分析中聚类算法的选择标准
3.2 Chameleon 算法分析
3.2.1 Chameleon 算法基本思想
3.2.2 Chameleon 算法存在的问题
3.3 改进的 Chameleon 算法
3.3.1 加权图的构建
3.3.1.1 共享近邻加权图形式化描述
3.3.1.2 构建共享近邻加权图
3.3.2 图的划分
3.3.3 子簇合并
3.3.4 改进算法总体流程
3.3.5 实验结果与分析
3.3.5.1 在 UCI 数据集上的性能
3.3.5.2 在人造数据集上的性能
3.4 基于改进 Chameleon 算法的日志分析
3.5 本章小结
第四章 基于 Hadoop 的在线日志分析系统设计
4.1 Hadoop 介绍
4.1.1 HDFS
4.1.2 MapReduce
4.2 系统总体设计
4.2.1 设计目标
4.2.2 系统设计思路
4.2.3 系统基本框架
4.3 系统功能模块
4.3.1 日志采集模块
4.3.1.1 主机日志采集
4.3.1.2 网络日志采集
4.3.2 日志分析模块
4.3.2.1 日志聚类分析
4.3.2.2 含特定字段日志的统计分析
4.3.3 界面展示模块
4.3.3.1 电子证据保护
4.3.3.2 用户操作
4.3.3.3 系统管理
4.4 本章小结
第五章 总结与展望
5.1 创新点总结与展望
5.2 下一步研究工作
参考文献
发表的学术论文及科研成果
致谢
【参考文献】：
期刊论文
[1]椭圆曲线密码中一种多标量乘算法[J]. 陈厚友,马传贵. 软件学报. 2011(04)
[2]基于日志的系统任务模型推理工具及其应用[J]. 高崇南,余宏亮,郑纬民. 计算机研究与发展. 2010(08)
[3]Chameleon算法的改进[J]. 蒋盛益,庞观松,张黎莎. 小型微型计算机系统. 2010(08)
[4]基于Hadoop的网络日志分析系统研究[J]. 胡光民,周亮,柯立新. 电脑知识与技术. 2010(22)
[5]基于ECC的自认证代理签密方案[J]. 俞惠芳,王彩芬,王之仓. 计算机科学. 2010(07)
[6]支持审计与取证联动的日志系统设计[J]. 宁兴旺,刘培玉. 计算机工程与设计. 2009(24)
[7]一种改进的Chameleon算法[J]. 龙真真,张策,刘飞裔,张正文. 计算机工程. 2009(20)
[8]改进FCM聚类算法及其在入侵检测中的应用[J]. 张国锁,周创明,雷英杰. 计算机应用. 2009(05)
[9]聚类算法研究[J]. 孙吉贵,刘杰,赵连宇. 软件学报. 2008(01)
[10]一种基于动态近邻选择模型的聚类算法[J]. 金阳,左万利. 计算机学报. 2007(05)
博士论文
[1]网络服务系统日志安全分析技术研究[D]. 王玲.中国科学院研究生院（计算技术研究所） 2006
硕士论文
[1]基于Hadoop的数据分析系统设计和实现[D]. 刘彤.北京邮电大学 2012
[2]基于HADOOP架构的社保项目网络日志分析系统的研究[D]. 张梓钧.电子科技大学 2011
[3]高端容错计算机故障日志分析系统的设计与实现[D]. 魏晨辉.哈尔滨工业大学 2011
[4]面向大规模批量日志数据存储方法的研究[D]. 王兆永.电子科技大学 2011
[5]SOM聚类算法的改进及其在文本挖掘中的应用研究[D]. 蔡丽宏.南京航空航天大学 2011
[6]基于日志的安全审计管理系统的研究与实现[D]. 杨舒琴.北京邮电大学 2011
[7]可视化日志分析系统的研究与实现[D]. 杨华.西安电子科技大学 2010
[8]网络环境下异构日志信息获取和预处理研究[D]. 王秀锋.哈尔滨工程大学 2010
[9]层次聚类算法的研究及应用[D]. 段明秀.中南大学 2009
[10]基于Windows日志的计算机取证模型系统设计及实现[D]. 赵旭.东北师范大学 2009
本文编号：3658408
【文章页数】：55 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 课题研究背景和意义
1.1.1 课题研究背景
1.1.2 课题研究意义
1.2 日志分析国内外研究现状
1.2.1 国外日志分析现状
1.2.2 国内日志分析现状
1.3 本文的主要研究内容
1.4 论文组织结构
第二章 计算机系统日志综述
2.1 日志相关知识
2.1.1 日志的概念
2.1.2 日志文件的特点
2.1.3 日志文件的作用
2.1.4 Windows 日志的组成
2.2 日志和事件的对应关系
2.3 日志分析常用的方法
2.3.1 关联分析
2.3.2 序列分析
2.3.3 聚类分析
2.4 现有日志分析工具
2.5 现有日志分析技术存在的问题
2.6 本章小结
第三章 基于层次聚类的日志分析
3.1 层次聚类概述
3.1.1 凝聚和分裂的层次聚类
3.1.2 簇间距离度量方法
3.1.3 日志分析中聚类算法的选择标准
3.2 Chameleon 算法分析
3.2.1 Chameleon 算法基本思想
3.2.2 Chameleon 算法存在的问题
3.3 改进的 Chameleon 算法
3.3.1 加权图的构建
3.3.1.1 共享近邻加权图形式化描述
3.3.1.2 构建共享近邻加权图
3.3.2 图的划分
3.3.3 子簇合并
3.3.4 改进算法总体流程
3.3.5 实验结果与分析
3.3.5.1 在 UCI 数据集上的性能
3.3.5.2 在人造数据集上的性能
3.4 基于改进 Chameleon 算法的日志分析
3.5 本章小结
第四章 基于 Hadoop 的在线日志分析系统设计
4.1 Hadoop 介绍
4.1.1 HDFS
4.1.2 MapReduce
4.2 系统总体设计
4.2.1 设计目标
4.2.2 系统设计思路
4.2.3 系统基本框架
4.3 系统功能模块
4.3.1 日志采集模块
4.3.1.1 主机日志采集
4.3.1.2 网络日志采集
4.3.2 日志分析模块
4.3.2.1 日志聚类分析
4.3.2.2 含特定字段日志的统计分析
4.3.3 界面展示模块
4.3.3.1 电子证据保护
4.3.3.2 用户操作
4.3.3.3 系统管理
4.4 本章小结
第五章 总结与展望
5.1 创新点总结与展望
5.2 下一步研究工作
参考文献
发表的学术论文及科研成果
致谢
【参考文献】：
期刊论文
[1]椭圆曲线密码中一种多标量乘算法[J]. 陈厚友,马传贵. 软件学报. 2011(04)
[2]基于日志的系统任务模型推理工具及其应用[J]. 高崇南,余宏亮,郑纬民. 计算机研究与发展. 2010(08)
[3]Chameleon算法的改进[J]. 蒋盛益,庞观松,张黎莎. 小型微型计算机系统. 2010(08)
[4]基于Hadoop的网络日志分析系统研究[J]. 胡光民,周亮,柯立新. 电脑知识与技术. 2010(22)
[5]基于ECC的自认证代理签密方案[J]. 俞惠芳,王彩芬,王之仓. 计算机科学. 2010(07)
[6]支持审计与取证联动的日志系统设计[J]. 宁兴旺,刘培玉. 计算机工程与设计. 2009(24)
[7]一种改进的Chameleon算法[J]. 龙真真,张策,刘飞裔,张正文. 计算机工程. 2009(20)
[8]改进FCM聚类算法及其在入侵检测中的应用[J]. 张国锁,周创明,雷英杰. 计算机应用. 2009(05)
[9]聚类算法研究[J]. 孙吉贵,刘杰,赵连宇. 软件学报. 2008(01)
[10]一种基于动态近邻选择模型的聚类算法[J]. 金阳,左万利. 计算机学报. 2007(05)
博士论文
[1]网络服务系统日志安全分析技术研究[D]. 王玲.中国科学院研究生院（计算技术研究所） 2006
硕士论文
[1]基于Hadoop的数据分析系统设计和实现[D]. 刘彤.北京邮电大学 2012
[2]基于HADOOP架构的社保项目网络日志分析系统的研究[D]. 张梓钧.电子科技大学 2011
[3]高端容错计算机故障日志分析系统的设计与实现[D]. 魏晨辉.哈尔滨工业大学 2011
[4]面向大规模批量日志数据存储方法的研究[D]. 王兆永.电子科技大学 2011
[5]SOM聚类算法的改进及其在文本挖掘中的应用研究[D]. 蔡丽宏.南京航空航天大学 2011
[6]基于日志的安全审计管理系统的研究与实现[D]. 杨舒琴.北京邮电大学 2011
[7]可视化日志分析系统的研究与实现[D]. 杨华.西安电子科技大学 2010
[8]网络环境下异构日志信息获取和预处理研究[D]. 王秀锋.哈尔滨工程大学 2010
[9]层次聚类算法的研究及应用[D]. 段明秀.中南大学 2009
[10]基于Windows日志的计算机取证模型系统设计及实现[D]. 赵旭.东北师范大学 2009
本文编号：3658408
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/3658408.html
