多源日志聚合分析方法

发布时间：2018-11-20 07:10

【摘要】：在检测网络安全威胁事件时,各种安全设备会产生大量冗余告警信息,易导致误报率高和日志聚合后聚合度低,给日志分析带来很大困难。为解决这一问题,采用一种自适应时间阈值间隔的聚类算法。通过定义聚合规则和中间日志,动态更新中间日志里的间隔阂值,实现对多源日志的聚合。实验结果表明,该算法的聚合时间阈值间隔更加接近真实攻击时间间隔,能准确对多源日志进行聚合分析,有效减少告警日志信息的数量,提高了日志的聚合度和准确率。
[Abstract]:When detecting network security threat events, a large number of redundant alarm information will be generated by various security devices, which can easily lead to high false alarm rate and low aggregation degree after log aggregation, which brings great difficulties to log analysis. To solve this problem, an adaptive time threshold interval clustering algorithm is adopted. By defining the aggregation rules and intermediate logs, the threshold values in the intermediate logs are dynamically updated, and the aggregation of multi-source logs is realized. The experimental results show that the aggregation time threshold interval of the algorithm is closer to the real attack time interval, which can accurately aggregate and analyze the multi-source logs, effectively reduce the amount of alarm log information, and improve the aggregation degree and accuracy of logs.
【作者单位】： 中国民航大学计算机科学与技术学院;中国民航大学信息安全测评中心;
【基金】：民航局科技基金项目(MHRD20140205;MHRD20150233) 中央高校基本科研业务费中国民航大学专项基金项目(3122013Z008;3122013C004;3122015D025) 中国民航大学科研启动基金项目(2013QD24X)
【分类号】：TP393.08

【参考文献】

相关期刊论文 前2条

1 高会生;李英敏;;一种基于分层属性相似度聚类的ASON告警关联分析方法[J];科学技术与工程;2015年06期

2 黄林;吴志杰;黄晓芳;韦勇;付智慧;;一种改进的多源异构告警聚合方案[J];计算机应用研究;2014年02期

相关硕士学位论文 前1条

1 毛治佳;基于属性相似度的报警关联系统的研究与实现[D];西安电子科技大学;2011年

【共引文献】

相关期刊论文 前5条

1 顾兆军;王帅卿;张礼哲;;多源日志聚合分析方法[J];计算机工程与设计;2017年07期

2 张翠香;蒋宏宇;沈代瑶;吴亚东;王松;;基于网络流量数据的多视图协同交互可视分析系统[J];西南科技大学学报;2017年02期

3 熊杰;周纯杰;杨军;;电力信息物理融合系统入侵攻击场景还原技术[J];中国仪器仪表;2017年04期

4 单蓉;;ASON的分布式保护与恢复研究[J];山东工业技术;2015年13期

5 高会生;李英敏;;一种基于分层属性相似度聚类的ASON告警关联分析方法[J];科学技术与工程;2015年06期

相关硕士学位论文 前5条

1 王泽芳;基于入侵检测的数据处理分析关键算法研究[D];西南科技大学;2016年

2 曹利蒲;网络安全设备联动系统中事件关联模型的研究与应用[D];华北电力大学;2014年

3 陈秋绚;基于支持向量机的混合入侵报警分析研究[D];北京邮电大学;2013年

4 赵茜;基于场景重构与报警聚合的网络取证技术研究[D];东北大学;2012年

5 李样兵;关联分析在统一安全平台中的应用研究[D];南华大学;2012年

【二级参考文献】

相关期刊论文 前7条

1 黄林;吴志杰;黄晓芳;韦勇;付智慧;;一种改进的多源异构告警聚合方案[J];计算机应用研究;2014年02期

2 胥小波;蒋琴琴;郑康锋;武斌;杨义先;;基于混沌粒子群的IDS告警聚类算法[J];通信学报;2013年03期

3 徐前方;肖波;郭军;;挖掘电信告警关联模式方法[J];北京邮电大学学报;2011年02期

4 李疆生;张强强;徐彬;;ASON技术在SDH网络中的引入[J];电力系统通信;2010年08期

5 郭帆;余敏;叶继华;;一种基于分类和相似度的报警聚合方法[J];计算机应用;2007年10期

6 马琳茹;杨林;王建新;唐鑫;;利用模糊聚类实现入侵检测告警关联图的重构[J];通信学报;2006年09期

7 龚俭 ,梅海彬 ,丁勇 ,魏德昊;多特征关联的入侵事件冗余消除[J];东南大学学报(自然科学版);2005年03期

相关硕士学位论文 前2条

1 宋菲;入侵报警关联模型及其关键技术的研究与实现[D];南京航空航天大学;2008年

2 李冬芳;基于序列模式的入侵检测研究[D];郑州大学;2006年

【相似文献】

相关期刊论文 前10条

1 张晓刚;潘久辉;;MS SQL Server 2000日志分析方法的研究与实现[J];计算机工程与设计;2006年19期

2 李春林;周根鸿;张文体;;重视日志审计确保数据安全[J];医学信息;2007年10期

3 梁晓雪;王锋;;基于聚类的日志分析技术综述与展望[J];云南大学学报(自然科学版);2009年S1期

4 黄海隆;陈赛娉;;计算机日志分析与管理方法的研究[J];大众科技;2006年07期

5 郑毅;;基于日志分析的网络IDS研究[J];襄樊学院学报;2008年11期

6 陈庭平;沈丽娟;曾鹏;;日志服务器建设和应用[J];网络安全技术与应用;2010年09期

7 邹先霞;贾维嘉;潘久辉;;基于数据库日志的变化数据捕获研究[J];小型微型计算机系统;2012年03期

8 罗新;;防火墙日志分析系统的设计与实现[J];计算机时代;2012年02期

9 姜良华;崔建明;;Serv-U FTP服务器日志分析系统设计与实现[J];电脑知识与技术;2010年28期

10 李玉荣;杨树强;贾焰;周斌;樊宇;;分布式日志服务关键技术研究[J];计算机工程与应用;2006年07期

相关会议论文 前10条

1 马辰;武斌;;一种基于攻击事件图的蜜网日志分析方法[A];虚拟运营与云计算——第十八届全国青年通信学术年会论文集（下册）[C];2013年

2 周涛;;基于数据挖掘的入侵检测日志分析技术研究[A];第二届中国科学院博士后学术年会暨高新技术前沿与发展学术会议程序册[C];2010年

3 陈晨;郑康锋;;一种基于支持向量机的蜜网系统日志分析方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

4 刘莉;;基于多协议技术的日志集中管理安全方案[A];2008年中国通信学会无线及移动通信委员会学术年会论文集[C];2008年

5 耿涛;;Web日志分析在电子数据取证中的应用[A];第二十一次全国计算机安全学术交流会论文集[C];2006年

6 闫龙川;王怀宇;李枫;毛一凡;;基于Hadoop的邮件日志分析与研究[A];2012电力行业信息化年会论文集[C];2012年

7 陈庆章;王磊;毛科技;戴国勇;;基于防火墙日志的在线攻击侦查系统的设计与实现(英文)[A];全国第19届计算机技术与应用（CACIS）学术会议论文集（下册）[C];2008年

8 王振亚;武斌;;基于MFI-WT算法的蜜网日志分析方法[A];第十七届全国青年通信学术年会论文集[C];2012年

9 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

10 朱金清;王建新;陈志泊;;基于APRIORI的层次化聚类算法及其在IDS日志分析中的应用[A];第二十四届中国数据库学术会议论文集（研究报告篇）[C];2007年

相关重要报纸文章 前10条

1 中航工业南方航空工业集团(有限)公司科技与信息部 邹沪湘;分析日志识别暴力破解[N];计算机世界;2013年

2 ;日志分析中的五个误区[N];网络世界;2004年

3 陈代寿;网管的四两拨千斤[N];中国计算机报;2004年

4 IBM大数据专家 James Kobielus　范范 编译;大数据日志分析借机器学习腾飞[N];网络世界;2014年

5 《网络世界》评测实验室 于洋;用好Web日志[N];网络世界;2004年

6 重庆 航行者;IIS的安全[N];电脑报;2002年

7 河南工业职业技术学院 邱建新;监测Squid日志的五种方法[N];计算机世界;2005年

8 shotgun;入侵检测初步（上）[N];电脑报;2001年

9 朱闵;浅谈企业核心应用的安全审计(下)[N];网络世界;2008年

10 覃进文;在Windows 2000&&2003下快速安装Webalizer[N];中国电脑教育报;2003年

相关博士学位论文 前3条

1 饶翔;基于日志的大规模分布式软件系统可信保障技术研究[D];国防科学技术大学;2011年

2 曹志波;基于日志的任务建模及调度优化的研究[D];华南理工大学;2014年

3 胡蓉;WEB日志和子空间聚类挖掘算法研究[D];华中科技大学;2008年

相关硕士学位论文 前10条

1 张天生;日志采集与分析在Web网站中的设计与实现[D];上海交通大学;2015年

2 周海靖;日志大数据分析平台技术研究[D];山东大学;2015年

3 赖特;网络安全设备日志融合技术研究[D];电子科技大学;2015年

4 董妍妍;基于Hadoop的Teradata数据仓库日志分析系统的设计与实现[D];南京大学;2014年

5 李名弈;IPTVQOS日志分析方法研究[D];复旦大学;2013年

6 刘季函(Liu,Chi Han);基于Spark的网络日志分析系统的设计与实现[D];南京大学;2014年

7 李荣荣;基于Hadoop平台的日志分析系统[D];复旦大学;2013年

8 周云斌;基于主机的日志大数椐分析及安全性检查[D];大连理工大学;2015年

9 张迪;基于NoSQL的大规模Web日志分析系统的设计与实现[D];复旦大学;2013年

10 潘宇轩;基于Django的日志分析系统的设计与实现[D];南京大学;2014年

，

本文编号：2344194