基于弹性搜索的网络流数据分析系统设计与实现
发布时间：2020-12-29 21:19
在大数据的时代背景下,网络安全得到了前所未有的重视,但是网络安全问题依然十分严重,主要体现为:一方面,网络攻击的种类呈现多样化的特征,安全数据体量呈现爆发式的增长,传统的网络安全分析方法无法满足海量数据分析需求;另一方面,新的攻击模式不断涌现,为了处理这些问题,基于大数据的网络异常行为检测平台是一种很好的解决方案。其核心概念是:结合多种大数据技术解决海量数据的安全实时处理、分析、关联、分类、检索,实现安全可视分析、多源事件数据关联分析、用户行为分析等一系列大数据安全分析功能。通过大数据接入、流式处理、数据挖掘等技术实现高性能、低延迟、高准确性的网络异常行为检测是本平台致力解决的问题。本文分析了大数据检索技术,设计了基于Co-Forest的网络异常行为检测算法,利用ELK架构实现了一个基于弹性搜索的网络流数据分析系统。系统中,网络数据被捕获、特征提取、流式处理后,交由训练好的网络异常行为检测模型进行识别,并向用户展示检测结果。一旦发现异常,将报警提醒安全人员处理,并提供回溯取证和关联分析功能。系统基于ELK架构,分为Web前端与可视化、WebService层、业务逻辑层以及数据存储的四层...
【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校
【文章页数】：78 页
【学位级别】：硕士
【部分图文】：
ELK框架
ElasticSearch的集群设计
西安电子科技大学硕士学位论文平扩展，实现扩展的需求。ElasticSearch 的默认存储策略是将索引文件存储在设备内存中[13]，并在内存已满时将文件保留到本地硬盘。重新启动群集时，群集将从本文的硬盘中读取数据。2.1.2 LogstachLogstash 作为一个开源的服务器处理管道，主要的作用就是从多个数据源哪里获取到数据，并对这些数据进行合理的转换，然后再发给 ElasticSearch。主要起到一个过滤器的作用，能够解析各种事件，并转换格式，从而提高后续工作的效率。根据不同的情况，Logstash 有两个主要的配置，托运人和 Indixer。托运人负责在客户端收集数据。托运人支持用于多个数据源，如 Sylog，Redis 的文件[14]，ElasticSearch，Rabitmq等索引的作用是处理接收到的日志信息的日志收集。索引器主要有三个处理过程：输入，滤波器和输出。输入模块负责数据输入的处理中，所述过滤器是负责处理数据，并且输出是负责处理后的数据发送到其他地方。Logstach 框架如图 2.4 所示。
【参考文献】：
期刊论文
[1]基于IRT的网络安全意识自适应测试技术[J]. 齐斌,邹红霞,王宇,李冀兴. 北京工业大学学报. 2019(05)
[2]数据中心存储技术研究综述[J]. 王晴. 信息与电脑(理论版). 2019(04)
[3]基于Lindeberg-Feller定理的网络异常检测算法[J]. 贺亮,王永程,李赟,褚衍杰,沈超. 计算机工程与应用. 2019(04)
[4]网络数据流异常检测研究[J]. 杨姣,高仲合,王来花. 通信技术. 2019(01)
[5]基于中文微博的情绪分类与预测算法[J]. 郝苗苗,徐秀娟,于红,赵小薇,许真珍. 计算机应用. 2018(S2)
[6]基于大数据背景的网络安全技术探究[J]. 刘柏田. 电子世界. 2018(19)
[7]基于Filebeat自动收集Kubernetes日志的分析系统[J]. 翟雅荣,于金刚. 计算机系统应用. 2018(09)
[8]深入浅出ELK[J]. 张秀云. 网络安全和信息化. 2018(08)
[9]基于ELK的日志分析系统研究及应用[J]. 姚攀,马玉鹏,徐春香. 计算机工程与设计. 2018(07)
[10]基于ELK的用户访问行为分析技术[J]. 陈楠,陈东辉,邓莉. 气象科技进展. 2018(01)
硕士论文
[1]基于ELK和Spark的日志分析系统的研究与实现[D]. 袁华.南昌大学 2018
[2]基于机器学习的URL攻击行为实时检测技术的研究[D]. 杨朋朋.北京邮电大学 2018
[3]基于ELK Stack的实时日志分析系统的设计与实现[D]. 王裕辰.北京邮电大学 2018
[4]基于大数据的网络异常行为检测平台的设计与实现[D]. 李若鹏.华南理工大学 2018
[5]基于行为特征的网络异常检测平台的设计与实现[D]. 樊梦娇.哈尔滨工业大学 2016
本文编号：2946340
【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校
【文章页数】：78 页
【学位级别】：硕士
【部分图文】：
ELK框架
ElasticSearch的集群设计
西安电子科技大学硕士学位论文平扩展，实现扩展的需求。ElasticSearch 的默认存储策略是将索引文件存储在设备内存中[13]，并在内存已满时将文件保留到本地硬盘。重新启动群集时，群集将从本文的硬盘中读取数据。2.1.2 LogstachLogstash 作为一个开源的服务器处理管道，主要的作用就是从多个数据源哪里获取到数据，并对这些数据进行合理的转换，然后再发给 ElasticSearch。主要起到一个过滤器的作用，能够解析各种事件，并转换格式，从而提高后续工作的效率。根据不同的情况，Logstash 有两个主要的配置，托运人和 Indixer。托运人负责在客户端收集数据。托运人支持用于多个数据源，如 Sylog，Redis 的文件[14]，ElasticSearch，Rabitmq等索引的作用是处理接收到的日志信息的日志收集。索引器主要有三个处理过程：输入，滤波器和输出。输入模块负责数据输入的处理中，所述过滤器是负责处理数据，并且输出是负责处理后的数据发送到其他地方。Logstach 框架如图 2.4 所示。
【参考文献】：
期刊论文
[1]基于IRT的网络安全意识自适应测试技术[J]. 齐斌,邹红霞,王宇,李冀兴. 北京工业大学学报. 2019(05)
[2]数据中心存储技术研究综述[J]. 王晴. 信息与电脑(理论版). 2019(04)
[3]基于Lindeberg-Feller定理的网络异常检测算法[J]. 贺亮,王永程,李赟,褚衍杰,沈超. 计算机工程与应用. 2019(04)
[4]网络数据流异常检测研究[J]. 杨姣,高仲合,王来花. 通信技术. 2019(01)
[5]基于中文微博的情绪分类与预测算法[J]. 郝苗苗,徐秀娟,于红,赵小薇,许真珍. 计算机应用. 2018(S2)
[6]基于大数据背景的网络安全技术探究[J]. 刘柏田. 电子世界. 2018(19)
[7]基于Filebeat自动收集Kubernetes日志的分析系统[J]. 翟雅荣,于金刚. 计算机系统应用. 2018(09)
[8]深入浅出ELK[J]. 张秀云. 网络安全和信息化. 2018(08)
[9]基于ELK的日志分析系统研究及应用[J]. 姚攀,马玉鹏,徐春香. 计算机工程与设计. 2018(07)
[10]基于ELK的用户访问行为分析技术[J]. 陈楠,陈东辉,邓莉. 气象科技进展. 2018(01)
硕士论文
[1]基于ELK和Spark的日志分析系统的研究与实现[D]. 袁华.南昌大学 2018
[2]基于机器学习的URL攻击行为实时检测技术的研究[D]. 杨朋朋.北京邮电大学 2018
[3]基于ELK Stack的实时日志分析系统的设计与实现[D]. 王裕辰.北京邮电大学 2018
[4]基于大数据的网络异常行为检测平台的设计与实现[D]. 李若鹏.华南理工大学 2018
[5]基于行为特征的网络异常检测平台的设计与实现[D]. 樊梦娇.哈尔滨工业大学 2016
本文编号：2946340
本文链接：https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/2946340.html
