大规模网络异常流量云检测平台研究

发布时间：2017-06-28 19:18

  本文关键词：大规模网络异常流量云检测平台研究，，由笔耕文化传播整理发布。

【摘要】：互联网的发展催生了云计算平台的出现,设计云服务、云架构、云存储等一系列解决大规模数据计算的平台已初步形成一套系统规范。在网络应用服务数据量上升的今天,网络安全事件增长和爆发的速度也较之从前有了爆炸式的增长。随着人们对互联网的依赖,网络中的入侵行为、对网络基础设施破坏的攻击事件对经济甚至国家安全所带来的危害性也大大加强。如何实时准确地发现大规模网络中存在的异常流量行为,及时有效地解决安全问题是一个非常有意义的课题。本文以Hadoop和Spark为基本框架,提出一种大规模网络异常流量云检测平台的体系架构,从数据采集、存储、计算到展示等各个方面,均采用了Hadoop生态圈的相关技术实现。在算法设计方面,本文提出了基于ISODATA的半监督异常流量检测算法。针对已知攻击,该算法对异常流量类型和正常流量类型做出正确的划分。针对未知的异常流量或网络异常行为,采用聚类算法将其与正常流量分离。通过仿真实验和校园网真实环境的实验数据分析,证明了算法的有效性。本文实现了基于Spark on YARN的云检测环境,并针对大规模网络流量监控实时性要求高的特点,设计了完整的云检测系统编程模型。开发的云检测平台成功部署在天津教育城域网,实现了对城域网流量和关键服务器流量的异常检测和预警,从而保证网络能够正常运行。
【关键词】：异常流量监测 云平台 Spark ISODATA 聚类分析 Bayes 分类器 数据可视化
【学位授予单位】：天津理工大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.08
【目录】：

• 摘要5-6
• Abstract6-9
• 第一章 绪论9-14
• 1.1 研究背景与意义9-11
• 1.1.1 研究背景9-10
• 1.1.2 研究意义10-11
• 1.2 国内外发展状况11-12
• 1.2.1 网络安全事件检测研究现状11
• 1.2.2 云计算在网络安全领域的发展11
• 1.2.3 数据挖掘在流量特征分析中的应用11-12
• 1.3 主要研究内容及创新点12
• 1.4 文章章节安排12-14
• 第二章 相关技术与理论14-19
• 2.1 异常流量检测技术14-15
• 2.1.1 Netflow数据包分析14
• 2.1.2 深度包报头信息提取14-15
• 2.1.3 网络异常流量检测15
• 2.2 云计算平台15-18
• 2.2.1 Hadoop生态圈15-16
• 2.2.2 Spark集群16
• 2.2.3 Storm集群16-17
• 2.2.4 Hadoop/Spark/Storm的比较17-18
• 2.3 数据挖掘算法18
• 2.4 本章小节18-19
• 第三章 云检测平台的设计与分析19-29
• 3.1 平台的总体架构19-24
• 3.1.1 数据收集层19-20
• 3.1.2 数据存储层20-22
• 3.1.3 大数据计算层22-23
• 3.1.4 数据展示层23-24
• 3.2 云平台数据采集层和计算层设计24-28
• 3.2.1 实现架构24-25
• 3.2.2 Netflow数据处理流程25-28
• 3.3 本章小结28-29
• 第四章 基于ISODATA半监督异常流量监测算法实现29-41
• 4.1 算法输入数据的采集和存储29-30
• 4.2 基于ISODATA半监督异常流量监测算法30-33
• 4.2.1 ISODATA聚类模块设计30-31
• 4.2.2 聚类算法数据预处理设计31-32
• 4.2.3 算法描述及知识库的生成模块设计32-33
• 4.3 云检测平台下算法实现33-35
• 4.4 基于标准数据集的实验35-37
• 4.5 基于校园网流量实验37-40
• 4.5.1 聚类效果和性能分析37-38
• 4.5.2 贝叶斯网络性能分析38
• 4.5.3 知识库预测性能分析38-39
• 4.5.4 算法在云平台上的设计39-40
• 4.6 本章小结40-41
• 第五章 平台功能实现与分析41-52
• 5.1 平台环境42
• 5.2 平台实现42-44
• 5.2.1 Netflow on Spark模块实现42-44
• 5.2.2 聚类模块MapReduce方法实现44
• 5.3 系统功能介绍44-51
• 5.4 本章小结51-52
• 第六章 总结与展望52-54
• 6.1 本文主要研究工作52-53
• 6.2 展望53-54
• 参考文献54-56
• 发表论文和科研情况说明56-57

【参考文献】

中国期刊全文数据库 前5条

1 罗敏,王丽娜,张焕国;基于无监督聚类的入侵检测方法[J];电子学报;2003年11期

2 杨嵘,张国清,韦卫,李仰耀;基于NetFlow流量分析的网络攻击行为发现[J];计算机工程;2005年13期

3 高能;冯登国;向继;;一种基于数据挖掘的拒绝服务攻击检测技术[J];计算机学报;2006年06期

4 陈吉荣;乐嘉锦;;基于Hadoop生态系统的大数据解决方案综述[J];计算机工程与科学;2013年10期

5 荆涛;李俊;;基于数值分析的异常扫描行为监测系统[J];计算机系统应用;2014年01期

中国博士学位论文全文数据库 前4条

1 桑雨;连续数据离散化方法研究[D];大连理工大学;2012年

2 张淑英;网络安全事件关联分析与态势评测技术研究[D];吉林大学;2012年

3 臧天宁;僵尸网络协同检测与识别关键技术研究[D];哈尔滨工程大学;2011年

4 闫峰;基于攻击图的网络安全风险评估技术研究[D];吉林大学;2014年

中国硕士学位论文全文数据库 前7条

1 杨锋;基于数据挖掘的入侵检测技术研究[D];哈尔滨工程大学;2006年

2 金爽;基于NetFlow的实时安全事件检测技术研究[D];哈尔滨工程大学;2007年

3 卢强;网络安全事件预警系统研究[D];天津理工大学;2012年

4 许倩;基于特征统计分析的异常流量检测技术研究[D];解放军信息工程大学;2012年

5 姚东;基于流的大规模网络安全态势感知关键技术研究[D];解放军信息工程大学;2013年

6 张萌;基于hadoop的网络安全日志审计系统关键技术研究[D];哈尔滨工程大学;2013年

7 丁彦;基于PCA和半监督聚类的入侵防御技术研究[D];江苏科技大学;2013年

  本文关键词：大规模网络异常流量云检测平台研究，由笔耕文化传播整理发布。

本文编号：495044