基于WEB访问日志的异常检测技术研究

发布时间：2020-08-24 12:41

【摘要】：在网络技术不断进步地推动下,互联网不断地扩大其作为通讯和商业媒介的影响力,更在互联网企业创造新兴商业渠道中扮演极为重要的角色。互联网业务需求的迅速增加激励着企业和各国政府发展国际化的复杂信息网络,网络技术与WEB服务呈现多样化。然而,黑客技术不断进化以及系统安全防护功能不足导致了近两年网络安全事件频发,网络攻击数量不断上升,网络攻击检测已成为一个备受关注的研究课题,检测和阻止网络攻击的技术研究工作需要更加深入地展开。今天的商用入侵检测系统主要是基于签名的,用于检测已被识别的攻击行为,这样的系统需要频繁地更新规则库和签名库,耗时长且不能够检测未知攻击。服务器内部署的大部分检测系统之间缺乏联动机制,并且缺少对大规模数据有效分析的能力,使得数据分析难度和耗费时间不断增加。因此面向应用层的异常检测技术被广泛研究,通过分析正常行为的特征模式,构建正向安全模型,可以有效识别恶意攻击行为,由于该类技术不是基于已有专家知识构建的,因此对于挖掘未知的网络攻击手段、跟踪新型的木马行为以及挖掘新型的网络漏洞都有着重要的意义。本文的工作以自主研究课题“基于海量日志的WEB行为安全模型研究”中提出的“WEB日志安全智能分析系统”为基础,该系统主要通过建立多层次的WEB访问模型对异常行为进行分析研究,挖掘海量访问日志数据之间潜在的关系。本文主要介绍并研究了多种类型的检测方式,探讨了各种方法和系统的优势及不足,然后利用数据挖掘的思想挖掘用户行为模式。实现了日志数据分析子系统中的IP/UA (User Agent)特征分析和攻击频繁模式挖掘两个模块的功能,最终通过特征检测达到识别用户的异常行为,并对异常进行了类别的划分。为了满足功能测试和项目自身的需求,项目组搭建了以Hadoop加ELK为基础的大数据分析平台。收集了某大型网站群的历史WEB访问日志,使用较流行的ElasticSearch平台达到日志数据存储、管理以及查询的目的,利用分布式编程模型对大规模访问日志进行分布式处理和计算,以求达到支撑历史数据批量分析和实时流量数据分析的需求。本文的工作是批量分析历史数据,测试集选取了2013年8月份全部日志数据,测试模块为IP/UA特征分析模块和攻击频繁模式挖掘模块。测试结果表明：Hadoop分布式系统能够有效地完成日志数据处理并显著缩短处理时间;IP/UA特征分析能够识别假冒知名爬虫的、使用可疑UA的或UA含有异常字符的用户：攻击频繁模式挖掘的结果总结后形成了四类异常模式,可以用于判别新用户实例是否存在异常和异常类型。
【学位授予单位】：中国海洋大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.08

【相似文献】

相关期刊论文 前10条

1 阎巧,谢维信;异常检测技术的研究与发展[J];西安电子科技大学学报;2002年01期

2 田琳;黄文海;;无线局域网基于静态马尔可夫链的异常检测技术研究[J];科技信息(学术研究);2008年24期

3 苗强;周兴社;倪红波;张桂英;周珊丹;;基于行为规律的异常检测技术研究[J];计算机工程与应用;2010年15期

4 崔锡鑫;苏伟;刘颖;;基于熵的流量分析和异常检测技术研究与实现[J];计算机技术与发展;2013年05期

5 金文进;杨武;;异常检测技术研究综述[J];软件导刊;2008年01期

6 安景琦,刘贵全,钱权;一种基于隐Markov模型的异常检测技术[J];计算机应用;2005年08期

7 胡亮;金刚;于漫;任斐;任维武;;基于异常检测的入侵检测技术[J];吉林大学学报(理学版);2009年06期

8 高旭麟;;视频监控图像异常检测技术在安防行业中的应用[J];中国公共安全;2013年12期

9 周彬彬;崔宝江;杨义先;;基于系统行为分析的异常检测技术研究[J];电信科学;2009年02期

10 张剑,龚俭;一种基于模糊综合评判的入侵异常检测方法[J];计算机研究与发展;2003年06期

相关会议论文 前1条

1 李涵;;一种改进的聚类方法在异常检测中的应用[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年

相关重要报纸文章 前2条

1 那罡;检测异常网络 阻挡DoS攻击[N];中国计算机报;2008年

2 ;千兆网络的安全防护神[N];中国计算机报;2003年

相关博士学位论文 前3条

1 林果园;基于主机行为的异常检测技术研究[D];南京大学;2011年

2 吴志忠;移动设备及网络的异常检测方法研究[D];中国科学技术大学;2013年

3 夏正敏;基于分形的网络流量分析及异常检测技术研究[D];上海交通大学;2012年

相关硕士学位论文 前10条

1 钟圣唯;面向异常检测的多源遥感影像融合技术研究[D];哈尔滨工业大学;2015年

2 林旭;基于WEB访问日志的异常检测技术研究[D];中国海洋大学;2015年

3 杨斌;基于聚类的异常检测技术的研究[D];中南大学;2008年

4 朱义鑫;基于网络的隐马尔可夫异常检测技术研究[D];新疆大学;2005年

5 李斌;基于正常简档聚类的自适应异常检测技术研究[D];中南大学;2009年

6 杨宇舟;基于特征提取的聚类异常检测技术的研究与实现[D];电子科技大学;2012年

7 王冬阳;面向云计算的异常检测技术的研究与实现[D];上海交通大学;2013年

8 宋歌;基于程序行为的异常检测技术研究[D];西安电子科技大学;2002年

9 乜聚虎;智能手机异常检测技术研究与实现[D];中国科学技术大学;2011年

10 吕云洁;基于数据流的异常检测技术及应用的研究[D];华北电力大学（河北）;2008年

本文编号：2802467