基于Kafka监测系统的网络流量预测和异常检测

发布时间：2020-06-17 07:53

【摘要】：随着社会科技的进步,互联网的高速发展,以及为了满足人们对网络日渐增长的需求,网络速率在不断地提升,随之而来的是更多具备高速、移动、安全的网络设备和更为复杂的网络结构。面对日渐复杂的网络环境,如何有效地对网络流量进行监控,如何建立泛化能力强的流量模型,以及如何进行实时检测异常流量,这些问题在网络管理和资源配置优化中都有十分重要的研究意义。网络流量监测收集系统是上层网络流量分析的基础,一个稳定、健壮、拓展性强的网络流量监测收集系统能为上层的网络管理和决策提供优质的服务。同时,对于上层的网络资源管理来说,准确的流量预测能对网络资源的合理配置起到指导性作用,精确的异常检测能让工作人员及时发现问题,避免损失。为了实现上述目标,本文对常见的系统部署环境进行了调研,设计了一个基于Kafka的流量监测收集系统,系统采用分层结构的设计,分层结构的设计保证了系统的稳定性和健壮性。然后本文对系统收集的流量信息进行了分析,设计并实现了一个LSTM网络模型,准确且有效地实现了网络流量预测功能。最后本文通过对历史流量中的离群点进行分析,提出并实现了一种数据流下基于LOF的离群点检测算法,并对检测结果进行了分析和总结。在运营商提供的真实环境中,本文设计并构建的网络流量监测收集系统能稳定、有效地保持运行,本文设计并实现的网络流量模型能以天为单位,准确地完成流量预测,预测的结果对网络资源的合理配置起到了关键的指导作用。本文提出的数据流下快速离群点检测算法,在不同的场景下都取得了优秀的效果。
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.06
【图文】：

Ａｐａｃｈｅ邋Ｆｌｕｍｅ是一可靠的、分布式的日志收集系统［６］，Ｆｌｕｍｅ可以从分布式逡逑环境中采集来自不同源的数据，并将其汇聚到指定的数据存储节点，从而实现不逡逑同源的海量曰志数据收集功能，其基本结构如图２－１所示逡逑Ｓｅｒｖｅｒ邋—邋Ｓｏｕｒｃｅ逦＼邋Ｓｉｎｋ、）逦？－逦，逡逑一＿＿＿逦ｈｄｆｓ逡逑１邋．邋—逡逑ｉ邋Ｌ逡逑Ｃｈａｎｎｅｌ邋｜邋１—逡逑Ａｇｅｎｔ邋、逦＾逡逑图２－１邋Ｆｌｕｍｅ基本结构图逡逑图２－１中的Ｓｅｒｖｅｉ？会将数据按照Ｈｕｍｅ指定的固定格式发送给Ｆｌｕｍｅ的源，逡逑即图中的Ｓｏｕｒｃｅ，当Ｆｌｕｍｅ的Ｓｏｕｒｃｅ收到数据后会将数据发送给通道（Ｃｈａｎｎｅｌ），逡逑—个Ｓｏｕｒｃｅ可以对应多个Ｃｈａｎｎｅｌ。Ｃｈａｎｎｅｌ中的数据会被缓存，Ｃｈａｎｎｅｌ的输出逡逑端是Ｓｉｎｋ，Ｓｉｎｋ会对数据进行处理，是一个可编程模块。用户可以根据自己的需逡逑求在Ｓｉｎｋ端对数据进行处理，比如本文主要就是使用Ｓｉｎｋ将采集的流量数据发逡逑送到节点数据库中。逡逑在本文的流量监测收集系统中，Ｈｕｍｅ系统主要用来做Ａｇｅｎｔ采集端与区域逡逑主节点之间互相通信的桥梁。不同的Ａｇｅｎｔ采集到的各类信息将通过Ｆｌｕｍｅ上逡逑报

Ａｐａｃｈｅ邋Ｆｌｕｍｅ是一可靠的、分布式的日志收集系统［６］，Ｆｌｕｍｅ可以从分布式逡逑环境中采集来自不同源的数据，并将其汇聚到指定的数据存储节点，从而实现不逡逑同源的海量曰志数据收集功能，其基本结构如图２－１所示逡逑Ｓｅｒｖｅｒ邋—邋Ｓｏｕｒｃｅ逦＼邋Ｓｉｎｋ、）逦？－逦，逡逑一＿＿＿逦ｈｄｆｓ逡逑１邋．邋—逡逑ｉ邋Ｌ逡逑Ｃｈａｎｎｅｌ邋｜邋１—逡逑Ａｇｅｎｔ邋、逦＾逡逑图２－１邋Ｆｌｕｍｅ基本结构图逡逑图２－１中的Ｓｅｒｖｅｉ？会将数据按照Ｈｕｍｅ指定的固定格式发送给Ｆｌｕｍｅ的源，逡逑即图中的Ｓｏｕｒｃｅ，当Ｆｌｕｍｅ的Ｓｏｕｒｃｅ收到数据后会将数据发送给通道（Ｃｈａｎｎｅｌ），逡逑—个Ｓｏｕｒｃｅ可以对应多个Ｃｈａｎｎｅｌ。Ｃｈａｎｎｅｌ中的数据会被缓存，Ｃｈａｎｎｅｌ的输出逡逑端是Ｓｉｎｋ，Ｓｉｎｋ会对数据进行处理，是一个可编程模块。用户可以根据自己的需逡逑求在Ｓｉｎｋ端对数据进行处理，比如本文主要就是使用Ｓｉｎｋ将采集的流量数据发逡逑送到节点数据库中。逡逑在本文的流量监测收集系统中，Ｈｕｍｅ系统主要用来做Ａｇｅｎｔ采集端与区域逡逑主节点之间互相通信的桥梁。不同的Ａｇｅｎｔ采集到的各类信息将通过Ｆｌｕｍｅ上逡逑报

【相似文献】

相关期刊论文 前10条

1 李巧侠;;基于组合模型的网络流量预测[J];微型电脑应用;2018年08期

2 王雪松;;改进支持向量机的网络流量预测[J];计算机系统应用;2017年03期

3 丁春莉;李林森;;和声搜索算法优化支持向量机的网络流量预测[J];微型电脑应用;2017年01期

4 陈南岳;汤永斌;岳淼;滕云;;一种网络流量预测模型的研究[J];科技通报;2017年07期

5 张涛;唐华;张甜甜;;网络流量预测算法仿真分析[J];计算机仿真;2016年09期

6 卢振利;;相空间重构和正则极限学习机的网络流量预测[J];激光杂志;2015年01期

7 张大卫;李海雁;;基于相空间重构双参数联合估计的网络流量预测[J];计算机与数字工程;2014年09期

8 赵伟;;一种改进的网络流量预测模型研究[J];计算机技术与发展;2013年04期

9 章治;;组合神经网络的网络流量预测研究[J];微电子学与计算机;2012年03期

10 赵云;肖嵬;陈阿林;;基于加权支持向量回归的网络流量预测[J];计算机工程与应用;2012年21期

相关会议论文 前4条

1 李林峰;裘正定;;时间序列分析在网络流量预测中的应用研究[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年

2 桂晓琳;许向阳;;基于Elman神经网络的网络流量预测[A];全国自动化新技术学术交流会会议论文集（一）[C];2005年

3 张黎;孙艳华;张延华;;随季节变化的海量网络数据预测方法[A];全国第4届信号和智能信息处理与应用学术会议论文集[C];2010年

4 卢丹蕾;孙艳华;张延华;;基于数据挖掘的网络流量预测[A];全国第4届信号和智能信息处理与应用学术会议论文集[C];2010年

相关重要报纸文章 前1条

1 南京邮电大学通信工程系教授 糜正琨;解NGN的QoS之“痛”[N];通信产业报;2005年

相关博士学位论文 前2条

1 孙晓川;未来网络虚拟化资源管理机制研究[D];北京邮电大学;2013年

2 于青;基于混沌时间序列预测的主动型入侵防御系统研究[D];天津大学;2012年

相关硕士学位论文 前10条

1 杨兴;基于Kafka监测系统的网络流量预测和异常检测[D];北京邮电大学;2019年

2 师圣蔓;基于机器学习的网络流量预测与应用研究[D];北京邮电大学;2019年

3 姚骞;基于机器学习的SDN网络流量预测与负载均衡[D];电子科技大学;2018年

4 邱锴;转移张量在数据中心流量预测中的应用[D];华中科技大学;2016年

5 姚春萍;基于s变换和压缩感知的大规模网络流量预测与仿真实现[D];东北大学;2013年

6 陈振伟;基于神经网络的改进网络流量预测算法的研究[D];河南大学;2008年

7 蒋庆华;一种基于小波变换及自回归模型的网络流量预测算法[D];吉林大学;2006年

8 杨yN;网络流量预测技术的研究[D];北京邮电大学;2014年

9 孔玉;基于极大极小概率机的无线网络流量预测[D];西华大学;2009年

10 文政;基于混沌—支持向量机理论的网络流量预测[D];郑州大学;2012年

本文编号：2717306