基于Web应用的日志采集与分析系统的设计与实现

发布时间：2017-11-14 07:09

  本文关键词：基于Web应用的日志采集与分析系统的设计与实现

  更多相关文章： Web日志 误用检测 异常检测 ELK stack

【摘要】：随着互联网技术的飞速发展,网络已经渗透到人们生活的方方面面。Web服务作为互联网信息服务的入口,为海量的信息资源提供了共享交流的平台。Web服务的开放性使得针对Web应用的攻击呈显著上升趋势。Web日志记录着用户访问网站的全部过程,对Web日志进行安全分析不仅可以在Web攻击发生后还原攻击场景进行事后追踪,还可以实时监控Web服务器的安全状态。现如今,Web攻击方式复杂多变,单独使用基于规则库的误用检测方法已经无法应对层出不穷的新型攻击。由此,本文设计并实现了基于误用检测与异常检测的混合Web日志安全分析模型。本文主要工作可归纳如下：(1)研究针对Web日志请求属性的特征提取方法。考虑到Web日志请求属性中包含的攻击特征最多,通过对Web日志请求属性进行特征提取,得到能够区分异常行为的请求特征向量,并应用K-means聚类算法建立基于请求特征向量的Web正常访问模型。(2)提出混合Web日志安全分析模型,综合基于规则库匹配的误用检测模型与基于聚类算法的异常检测模型的优点,将误用检测模型未检测到攻击的访问日志载入异常检测模型进行二次检测。测试数据表明：与使用单一攻击检测模型相比,混合模型在提高检测率的同时降低了误检率。(3)搭建基于ELK stack的日志采集、存储与展示平台,实现了海量Web日志的实时攻击检测。测试数据表明：ELK stack在海量数据的载入速率和查询响应延时两个重要指标上具有良好的性能。
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP393.08

【相似文献】

中国期刊全文数据库 前10条

1 张晓刚;潘久辉;;MS SQL Server 2000日志分析方法的研究与实现[J];计算机工程与设计;2006年19期

2 李春林;周根鸿;张文体;;重视日志审计确保数据安全[J];医学信息;2007年10期

3 梁晓雪;王锋;;基于聚类的日志分析技术综述与展望[J];云南大学学报(自然科学版);2009年S1期

4 黄海隆;陈赛娉;;计算机日志分析与管理方法的研究[J];大众科技;2006年07期

5 郑毅;;基于日志分析的网络IDS研究[J];襄樊学院学报;2008年11期

6 陈庭平;沈丽娟;曾鹏;;日志服务器建设和应用[J];网络安全技术与应用;2010年09期

7 邹先霞;贾维嘉;潘久辉;;基于数据库日志的变化数据捕获研究[J];小型微型计算机系统;2012年03期

8 罗新;;防火墙日志分析系统的设计与实现[J];计算机时代;2012年02期

9 姜良华;崔建明;;Serv-U FTP服务器日志分析系统设计与实现[J];电脑知识与技术;2010年28期

10 李玉荣;杨树强;贾焰;周斌;樊宇;;分布式日志服务关键技术研究[J];计算机工程与应用;2006年07期

中国重要会议论文全文数据库 前10条

1 马辰;武斌;;一种基于攻击事件图的蜜网日志分析方法[A];虚拟运营与云计算——第十八届全国青年通信学术年会论文集（下册）[C];2013年

2 周涛;;基于数据挖掘的入侵检测日志分析技术研究[A];第二届中国科学院博士后学术年会暨高新技术前沿与发展学术会议程序册[C];2010年

3 陈晨;郑康锋;;一种基于支持向量机的蜜网系统日志分析方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

4 刘莉;;基于多协议技术的日志集中管理安全方案[A];2008年中国通信学会无线及移动通信委员会学术年会论文集[C];2008年

5 耿涛;;Web日志分析在电子数据取证中的应用[A];第二十一次全国计算机安全学术交流会论文集[C];2006年

6 闫龙川;王怀宇;李枫;毛一凡;;基于Hadoop的邮件日志分析与研究[A];2012电力行业信息化年会论文集[C];2012年

7 陈庆章;王磊;毛科技;戴国勇;;基于防火墙日志的在线攻击侦查系统的设计与实现(英文)[A];全国第19届计算机技术与应用（CACIS）学术会议论文集（下册）[C];2008年

8 王振亚;武斌;;基于MFI-WT算法的蜜网日志分析方法[A];第十七届全国青年通信学术年会论文集[C];2012年

9 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

10 朱金清;王建新;陈志泊;;基于APRIORI的层次化聚类算法及其在IDS日志分析中的应用[A];第二十四届中国数据库学术会议论文集（研究报告篇）[C];2007年

中国重要报纸全文数据库 前10条

1 中航工业南方航空工业集团(有限)公司科技与信息部 邹沪湘;分析日志识别暴力破解[N];计算机世界;2013年

2 ;日志分析中的五个误区[N];网络世界;2004年

3 陈代寿;网管的四两拨千斤[N];中国计算机报;2004年

4 IBM大数据专家 James Kobielus　范范 编译;大数据日志分析借机器学习腾飞[N];网络世界;2014年

5 《网络世界》评测实验室 于洋;用好Web日志[N];网络世界;2004年

6 重庆 航行者;IIS的安全[N];电脑报;2002年

7 河南工业职业技术学院 邱建新;监测Squid日志的五种方法[N];计算机世界;2005年

8 shotgun;入侵检测初步（上）[N];电脑报;2001年

9 朱闵;浅谈企业核心应用的安全审计(下)[N];网络世界;2008年

10 覃进文;在Windows 2000&&2003下快速安装Webalizer[N];中国电脑教育报;2003年

中国博士学位论文全文数据库 前3条

1 饶翔;基于日志的大规模分布式软件系统可信保障技术研究[D];国防科学技术大学;2011年

2 曹志波;基于日志的任务建模及调度优化的研究[D];华南理工大学;2014年

3 胡蓉;WEB日志和子空间聚类挖掘算法研究[D];华中科技大学;2008年

中国硕士学位论文全文数据库 前10条

1 张之宣;云计算环境下实时日志分析系统的设计与实现[D];浙江大学;2016年

2 李华民;UC日志收集系统的设计与实现[D];北京交通大学;2015年

3 张永霞;面向用户个性化推荐的日志分析系统设计与实现[D];北京邮电大学;2013年

4 葛诗颖;Origin商城日志系统的日志管理子系统的设计与实现[D];南京大学;2014年

5 张愉;基于机器学习的EMC存储设备日志分析与Bug预测技术研究[D];南京大学;2014年

6 张tJ;用于入侵取证的大规模取证日志自动简化技术研究[D];南京大学;2014年

7 宋园园;基于Hadoop的Web日志存储及预处理优化研究[D];河北工程大学;2016年

8 屈国庆;基于Storm的实时日志分析系统的设计与实现[D];南京大学;2016年

9 江建委;基于NoSQL的日志集中管理系统的研究与实现[D];福州大学;2014年

10 于静;基于Web应用的日志采集与分析系统的设计与实现[D];北京交通大学;2016年

，

本文编号：1184372