基于云计算的网络异常检测算法研究

发布时间：2017-05-11 11:13

  本文关键词：基于云计算的网络异常检测算法研究，由笔耕文化传播整理发布。

【摘要】：随着网络的发展和应用范围不断扩大,网络攻击手段与日俱增,面对高速大规模网络,传统异常检测系统难以难以实现全网流量的测量,传统检测算法也难以处理大规模数据。分布式的异常检测系统的研究将成为未来异常检测领域的发展方向。基于云计算对超大规模数据的存储和计算能力,本文提出了一种基于云计算的大规模网络异常检测系统,系统能对全网络流量实时测量,并实现对网络流量的实时监控。本文的主要研究工作和成果包括：首先分析了当前网络安全现状,入侵检测系相关技术,概括了传统入侵检测系统存在的问题,以及未来的发展方向。然后详细介绍了流量测量相关技术和发展现状,并结合流量矩阵的应用发展引出大规模网络全局流量测量的必要性,紧接着研究了聚类算法和Hadoop相关技术,为分布式异常检测系统的提出打下基础。接着以真实流量的预处理为例详细描述了网络流量测量相关部分的实现。最后分析了直方图异常检测方法的具体实现细节,进一步实现了直方图算法在MapReduce框架下的并行化。在实验部分,在实验环境中对网络流量测量架构进行详细的部署实现,并分析了系统的可行性,最后通过实验数据集对并行化算法性能进行评价。
【关键词】：异常检测 云计算 分层聚类 流量测量 并行化
【学位授予单位】：郑州大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.08
【目录】：

• 摘要4-5
• Abstract5-10
• 1 绪论10-14
• 1.1 网络安全研究背景10
• 1.2 网络流量异常检测研究现状与发展趋势10-13
• 1.2.1 异常检测方法分类10-11
• 1.2.2 网络流量异常检测研究现状11-12
• 1.2.3 问题的提出12-13
• 1.3 研究目的13
• 1.4 本文的工作内容及组织结构13-14
• 2 相关理论知识与关键技术14-27
• 2.1 网络流量的测量方法14-17
• 2.1.1 主动和被动测量技术14-15
• 2.1.2 常用网络流量采集方法15-17
• 2.2 网络流量矩阵17-18
• 2.2.1 流量矩阵简介17
• 2.2.2 流量矩阵估算方法17-18
• 2.3 聚类算法18-21
• 2.3.1 聚类简述18-19
• 2.3.2 聚类算法分类19-21
• 2.4 Hadoop云平台简介21-26
• 2.4.1 HDFS体系结构22-24
• 2.4.2 MapReduce编程模型24-26
• 2.5 本章小结26-27
• 3 大规模全局网络流量的测量27-34
• 3.1 流量预处理算法描述27
• 3.2 流量采集27-30
• 3.2.1 Netflow采集流程27-29
• 3.2.2 采集实现29-30
• 3.3 OD分流算法30-32
• 3.4 部署实现32-33
• 3.5 本章小结33-34
• 4 基于云计算的异常检测算法34-47
• 4.1 基于直方图的异常检测算法34-39
• 4.1.1 测量向量的构建35
• 4.1.2 聚类分析35-39
• 4.2 并行化实现39-46
• 4.2.1 MapReduce下直方图向量的构建39-40
• 4.2.2 MapReduce下层次聚类算法40-46
• 4.3 本章小结46-47
• 5 实验与分析47-56
• 5.1 系统整体架构47-48
• 5.2 实验环境48-50
• 5.3 分析评价50-55
• 5.3.1 大规模网络流量测量方法评价50-51
• 5.3.2 基于云计算的异常检测算法性能评估51-55
• 5.4 本章小结55-56
• 6 结论与展望56-58
• 6.1 结论56
• 6.2 工作展望56-58
• 参考文献58-60
• 致谢60-61
• 个人简历、在校期间发表的学术论文与研究成果61

【参考文献】

中国期刊全文数据库 前5条

1 张震;汪斌强;朱珂;;流量测量的关键技术分析与研究[J];计算机应用研究;2009年09期

2 张敏,于剑;基于划分的模糊聚类算法[J];软件学报;2004年06期

3 周静静;杨家海;杨扬;张辉;;流量矩阵估算的研究[J];软件学报;2007年11期

4 钱叶魁;陈鸣;叶立新;刘凤荣;朱少卫;张晗;;基于多尺度主成分分析的全网络异常检测方法[J];软件学报;2012年02期

5 钱叶魁;陈鸣;郝强;刘凤荣;商文忠;;ODC——在线检测和分类全网络流量异常的方法[J];通信学报;2011年01期

中国硕士学位论文全文数据库 前1条

1 李欣欣;基于MPI的层次聚类算法的研究及实现[D];哈尔滨理工大学;2012年

  本文关键词：基于云计算的网络异常检测算法研究，，由笔耕文化传播整理发布。

本文编号：357132