海量数据环境下的网络流量异常检测的研究

发布时间：2017-04-06 00:04

  本文关键词：海量数据环境下的网络流量异常检测的研究，，由笔耕文化传播整理发布。

【摘要】：近些年来,互联网的规模也在急速的增长,互联网数据的存储、分析以及检测已经成为运营商的面临的一个重大问题,到目前为止,已经有很多关于异常流量检测的研究。对于大数据的研究还是局限于Hadoop平台的批处理阶段。对于异常流量大数据的实时处理,类似Storm平台,相关的研究还是很少的。因此,这篇文章介绍了基于k-nearest neighbor(k-NN)的累积距离的异常检测方法,以及使用此检测方法的异常流量实时检测系统的实现。本文中所有的测试也都是在自主搭建的Storm实时处理平台上完成的。并且,我们的数据结果显示,这套系统能够正确的完成异常流量的实时监测的任务。 本文首先介绍了网络流量的分类,包括网络流量异常,尤其是DDoS攻击的分类,以及DDoS攻击常用的攻击方式和检测方法。 随后,在已有检测方法的基础上,根据海量数据的环境和现有RawFlow数据特点,本文采用基于动态k-NN累积距离的异常检测算法做为流量实时监测系统的算法。 接着,本文对流量实时监测系统的设计进行了重点研究。先后详细系统的各个组件。通过对这些组件的研究,解决了海量数据环境下网络流量监测领域中的一些重要问题。 最后,本文以流量实时监测系统的检测结果为例对异常流量进行了分析。
【关键词】：网络流量异常监测 海量数据 动态K-NN累积距离异常检测算法 实时 Storm 分布式计算
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.08
【目录】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 绪论9-13
• 1.1 研究背景9-10
• 1.2 研究现状10
• 1.3 论文结构10-13
• 第二章 网络流量异常及网络攻击研究现状13-21
• 2.1 网络流量异常13-14
• 2.2 DDoS常见攻击方式及检测方法14-20
• 2.2.1 ICMP Flood攻击15-16
• 2.2.2 ARP相关的DDoS攻击16
• 2.2.3 SYN flood攻击和ACK flood攻击16-18
• 2.2.4 Connection Flood攻击18
• 2.2.5 UDP Flood攻击18-19
• 2.2.6 HTTP Flood攻击19-20
• 2.3 本章小结20-21
• 第三章 基于动态K-NN累计距离的异常点检测方法21-33
• 3.1 检测算法的选择21-22
• 3.2 时间序列22-23
• 3.3 时间序列的异常点检测23-31
• 3.3.1 常用的数据统计信息23-24
• 3.3.2 网络流量时间序列异常点检测的概念24-25
• 3.3.3 基于动态K-NN累计距离的异常点检测方法25-27
• 3.3.4 算法中的关键点27-28
• 3.3.5 算法测试分析28-31
• 3.4 本章小结31-33
• 第四章 网络流量实时监测系统设计33-55
• 4.1 Flume-ng日志收集系统33-34
• 4.2 Storm流式处理平台34-37
• 4.2.1 Storm流式处理平台的重要特征35
• 4.2.2 Storm流式处理平台主要组件与概念35-36
• 4.2.3 Storm流式处理平台的运行机制36-37
• 4.3 HBase分布式存储系统37-43
• 4.3.1 HBase主要组件39-40
• 4.3.2 数据模型40
• 4.3.3 物理存储40-41
• 4.3.4 HBase的读写41-43
• 4.4 网络流量实时监测系统设计43-54
• 4.4.1 Flume-ng数据采集43-44
• 4.4.2 Storm数据流式处理44-49
• 4.4.3 Flume-ng与Storm的连接49-51
• 4.4.4 HBase数据存储51
• 4.4.5 Storm与HBase的连接51-52
• 4.4.6 外部异常定位52-54
• 4.5 本章小结54-55
• 第五章 网络流量实时监测系统数据分析55-63
• 5.1 部署环境55-56
• 5.2 数据话单RawFlow56
• 5.3 TopN模块结果数据分析56-57
• 5.4 异常检测模块数据分析57-59
• 5.5 异常流量分析59-61
• 5.6 本章小结61-63
• 第六章 总结与展望63-65
• 参考文献65-67
• 致谢67-69
• 攻读学位期间发表的学术论文目录69

【共引文献】

中国硕士学位论文全文数据库 前1条

1 魏一平;Gbps同轴网络传输系统LLC子层的设计与实现[D];华中科技大学;2013年

  本文关键词：海量数据环境下的网络流量异常检测的研究，由笔耕文化传播整理发布。

本文编号：287897