基于Web日志分析的安全审计系统的研究与设计

发布时间：2020-11-14 18:34

　　 随着互联网应用逐渐普及,人们通过互联网传递更多重要信息,但是信息泄露给人们工作生活带来的损失也会随之增加,所以网络安全成为了各国细信息技术领域的重点研究方向之一,同样各国政府部门、企业和高校也越来越重视网络安全。《2015年数据泄露损失研究》内揭露出,近两年来每起数据泄露事件的平均损失总额增长了23%,达到379万美元,同时泄露事件的发生总量略有下降,而且每起泄露事件所暴露的身份中位数减少了约三分之一达到4885个,这表明每起泄露事件中被盗取的身份具有更高的价值或敏感性。而2016年中国网民因数据泄漏引发的经济损失高达915亿元。由此可见,网络安全是科技与经济发展的重要保障,而且多数由于网络安全而发生的数据泄露事件都未能取证和追究法律责任,导致全球范围内的黑色产业日益猖獗。因为Web应用的普及度在近几年内逐渐增加,Web应用正在逐渐替代很多传统业务,更多业务可在Web应用上处理,所以Web页面会涉及到更多的敏感信息,例如SQL注入、暴力破解或撞库攻击就会导致数据库的直接泄露,跨站脚本(XSS)攻击能够直接伪造登录状态,国内外学者已经对此进行了大量研究分析,虽然在市面上也有许多安全防范工具,而真正有威胁的安全事件发生在这些安全工具所不能覆盖的区域。同时任何类型的服务器都会产生日志,且都有规范的格式,从而可以提出普适的分析方法,但是Web日志分析安全软件却相对较少。网络入侵者在攻击成功后首先都要删除日志信息来抹除自己入侵的痕迹,这也为事后的调查和取证带来了一定的困难。由于现在不用设备产生的网络日志有规范化和未规范化的,这就要求对于日志进行清洗、去重等预处理操作。另外,现有的日志分析手段的效率和检测率也比较低下,所以需要对日志分析的方法进行提高,除去传统的基于规则库的审计方法外还须使用更先进的基于数据挖掘的审计方法使得审计的效果更佳。但是一系列的网络攻击行为会在很多网络设备上留下痕迹,通常不能删除干净,所以可利用残留的日志信息发现黑客的行踪。本文通过对现有的开源和商用的日志安全审计系统的分析,并结合当前Web安全威胁形势,明确日志安全审计系统的功能需求,最终对基于Web日志分析的安全审计系统进行了设计和实现,主要工作包括以下几个方面:(1)详细分析研究了各种日志审计技术如基于规则库、基于数据挖掘、基于免疫系统和基于神经网络的审计方法的优劣,并在设计的系统的日志分析模块采用基于数据挖掘审计方法。(2)研究手工分析Web日志的方法,设计了用于快速审计的规则库,加入新型网络攻击特征,提高准确率。(3)针对Web日志的特点改进了关联规则算法Apriori算法和FP-Growth算法,使得规则库可以自主根据收集到的日志进行规则挖掘并更新模式库,并以引入主从属性作为判断依据,提取出更加准确的日志规则特征。(4)设计了基于Web日志分析的安全审计系统,系统的三个主要模块:日志采集模块、日志分析模块和审计结果展现模块,并从整体结构到每个模块介绍了设计的理由。采用分布式采集方式进行日志文件的采集和归一化处理,这可以降低传统集中式采集的通信压力和集中式服务器的数据处理压力。另外日志分析引擎模块采用优化算法进行设计,并结合了两种算法的优点互为补充。(5)使用Python和C++语言实现系统,并对提出的各模块的功能进行验证,同时为了增强用户的便捷性用htm15技术编写了 Web界面,支持更多离线分析功能,并对整个系统的功能和性能进行测试。
【学位单位】：北京邮电大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP393.08
【部分图文】：

图４－２系统总体架构图??日志分析的结果以Ｗｅｂ页面展示给安全管理者，因为这种方式直观、开放??性强且经济［３１］。根据系统的功能需求，本文按照下图４－３的业务流程对日志进行??收集、处理、审计等。系统可分为５个功能模块，他们分别为：日志采集模块、??日志管理模块、日志预处理模块、日志分析与审计模块、系统输出响应模块。其??中日志分析与审计模块还包括三个子模块，分别为关联规则挖掘模块、规则库的??生成模块和用户行为异常检测模块。输出响应模块也包括两个子模块，分别为实??时报警模块和统计报表生成模块。?????丨日志分析与审计模块?输出响应模块??曰?１?曰??志?％?志?用??数?■数?关规?声?统??收?ｆ?管?规?库?为?时?报??集為理?则?的安?报表??模?Ｉ?筚?挖更全?警生??余：?协?余：丨屈新检?产??块?测??！????????ＬＩＺＩＺＩＩＺ???图４－３基于Ｗｅｂ日志分析的安全审计系统模块结构??日志采集模块用于对被管理系统的日志进行采集，主要通过Ｓｙｓｌｏｇ协议和??ＳＮＭＰＴｒａｐ方式，这两种协议的特点已在第二章内叙述，同时采用两种方式可令??系统管理设备的配置更灵活。??３０??

??ｖ．??图４－２系统总体架构图??日志分析的结果以Ｗｅｂ页面展示给安全管理者，因为这种方式直观、开放??性强且经济［３１］。根据系统的功能需求，本文按照下图４－３的业务流程对日志进行??收集、处理、审计等。系统可分为５个功能模块，他们分别为：日志采集模块、??日志管理模块、日志预处理模块、日志分析与审计模块、系统输出响应模块。其??中日志分析与审计模块还包括三个子模块，分别为关联规则挖掘模块、规则库的??生成模块和用户行为异常检测模块。输出响应模块也包括两个子模块，分别为实??时报警模块和统计报表生成模块。?????丨日志分析与审计模块?输出响应模块??曰?１?曰??志?％?志?用??数?■数?关规?声?统??收?ｆ?管?规?库?为?时?报??集為理?则?的安?报表??模?Ｉ?筚?挖更全?警生??余：?协?余：丨屈新检?产??块?测??！????????ＬＩＺＩＺＩＩＺ???图４－３基于Ｗｅｂ日志分析的安全审计系统模块结构??日志采集模块用于对被管理系统的日志进行采集，主要通过Ｓｙｓｌｏｇ协议和??ＳＮＭＰＴｒａｐ方式，这两种协议的特点已在第二章内叙述，同时采用两

??ｖ．??图４－２系统总体架构图??日志分析的结果以Ｗｅｂ页面展示给安全管理者，因为这种方式直观、开放??性强且经济［３１］。根据系统的功能需求，本文按照下图４－３的业务流程对日志进行??收集、处理、审计等。系统可分为５个功能模块，他们分别为：日志采集模块、??日志管理模块、日志预处理模块、日志分析与审计模块、系统输出响应模块。其??中日志分析与审计模块还包括三个子模块，分别为关联规则挖掘模块、规则库的??生成模块和用户行为异常检测模块。输出响应模块也包括两个子模块，分别为实??时报警模块和统计报表生成模块。?????丨日志分析与审计模块?输出响应模块??曰?１?曰??志?％?志?用??数?■数?关规?声?统??收?ｆ?管?规?库?为?时?报??集為理?则?的安?报表??模?Ｉ?筚?挖更全?警生??余：?协?余：丨屈新检?产??块?测??！????????ＬＩＺＩＺＩＩＺ???图４－３基于Ｗｅｂ日志分析的安全审计系统模块结构??日志采集模块用于对被管理系统的日志进行采集，主要通过Ｓｙｓｌｏｇ协议和??ＳＮＭＰＴｒａｐ方式，这两种协议的特点已在第二章内叙述，同时采用两
【相似文献】

相关期刊论文 前10条

1 李莉;;日志易 利用人工智能从日志分析中寻求机会[J];创业邦;2018年01期

2 李静;施勇;薛质;;基于蜜罐日志分析的主动防御研究[J];信息安全与通信保密;2009年03期

3 王二暖;康李;;Oracle中使用LogMiner进行日志分析[J];电脑开发与应用;2007年09期

4 朱欣怡;;基于大数据技术的日志分析体系结构的研究[J];智库时代;2019年15期

5 王逸兮;冯浩;刘芬;;大规模查询日志分析模型构建机制[J];数字通信世界;2017年11期

6 钱卫;袁瑞冬;;集中管理服务日志[J];网络安全和信息化;2017年06期

7 胡沐创;;大数据日志分析平台应用探索与实践[J];金融科技时代;2018年01期

8 王立柱;朱茜;;实时日志分析系统在河南气象信息化中的应用[J];气象水文海洋仪器;2018年03期

9 ;SITEVIEW DeepLOG深度日志分析[J];网络安全和信息化;2016年05期

10 周航;毕永军;;日志分析技术在IT运维管理中的应用[J];金融电子化;2017年03期

相关博士学位论文 前1条

1 李志强;基于网络日志的用户行为分析[D];北京理工大学;2016年

相关硕士学位论文 前10条

1 杨建敏;基于Spark on Yarn的机房安全设备日志流分析设计与实现[D];黑龙江大学;2018年

2 陈志涛;日志采集器组件LogCollector的设计与实现[D];华中科技大学;2019年

3 杨晶;基于Hadoop的web日志分析系统的研究与实现[D];北京工业大学;2018年

4 周超;多数据中心日志实时收集与分析系统设计与实现[D];东南大学;2018年

5 罗学贯;基于ELK的Web日志分析系统的设计与实现[D];华南理工大学;2018年

6 何嘉仪;基于数据挖掘的网络日志检测与实现[D];湖南大学;2014年

7 张兴富;首钢矿业公司网络交换机日志收集与分析系统的设计与实现[D];东北大学;2015年

8 孟令童;面向流程结构重塑的数据库日志分析系统设计与实现[D];山东大学;2018年

9 邵芬芬;基于核聚类算法的日志分析系统的设计与实现[D];山东师范大学;2018年

10 潘建梁;支持流程建模的工作流重复任务识别和噪声日志检测方法[D];杭州电子科技大学;2018年

本文编号：2883820