基于降维的骨干网流量异常检测研究

发布时间：2017-05-22 19:01

  本文关键词：基于降维的骨干网流量异常检测研究，，由笔耕文化传播整理发布。

【摘要】：近年来,随着计算机通信技术的迅猛发展以及互联网应用的持续深化,使其成为人类社会不可或缺的基础设施。但网络异常事件的种类、数目和威胁也在不断提升。因此,提高流量异常检测方法的检测率和运行率,是我们面临的一个严峻挑战。 由于骨干网的通信量非常大,异常行为分析需要以相对合适的粒度作为基础,才能适应骨干通信网络的海量性和高速性。另外,骨干通信网络流量异常检测应该在时效性、适应性、有效性和全面性等方面有所提高。本文针对上述问题,做出了以下几个方面的工作： 第一,针对骨干通信网络中流量的特征,使得采用精细分析是不现实的,该类方法很难满足骨干通信网络的在线性、存储空间的有限性等要求。因此,本文采用数据源是相对合适的粒度流量,将这些流量看作随时间变化的信号。另外,由于在大规模通信网络环境中,对流量数据直接进行检测的方法存在明显的不足,从而需要采用降维方法用于减少计算复杂度、提高效率和精度。在本文中,使用了两种常用的降维方法：sketch数据结构和主成分分析。 第二,针对在骨干通信网的海量背景流量中异常流量表现出的隐蔽性,提出了一种基于sketch数据结构与正则性分布的骨干通信网络流量异常分析与识别的方法,具有将高维流量随机地映射到低维空间的效果,可溯源到恶意流量的来源。采用Lipschitz指数定位异常发生时刻,并通过计算熵值对异常进行识别。本文同样地通过真实网络流量实验以及与不同检测算法的对比,验证了所提方法不仅能够精确地溯源恶意流量,还能够有效地对异常进行识别。 第三,针对大部分研究仅仅是对单条链路流量作为数据源进行异常检测,造成检测结果有时并不明显的问题,提出了一种基于本征模态分解(Empirical Mode Decomposition, EMD)与主成分分析的骨干通信网络流量异常检测方法,结合了OD(Origin-Destination)流流量矩阵的时间相关性和空间相关性。通过真实网络流量实验以及与不同检测算法的对比,验证了所提方法具有较好的检测率和实时性。 综上所述,针对骨干通信网络流量异常检测中实时性、有效性和全面性等方面存在的问题,本文展开了相关的研究。通过真实网络流量的实验,验证了所提方法能够有效地检测异常。
【关键词】：骨干通信网络 流量异常检测 数据降维 sketch数据结构 EMD分解方法 主成分分析
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.06
【目录】：

• 摘要5-6
• ABSTRACT6-8
• 目录8-10
• 第1章 绪论10-16
• 1.1 研究背景和意义10-12
• 1.1.1 研究背景10-11
• 1.1.2 研究意义11-12
• 1.2 国内外研究现状和发展趋势12-13
• 1.3 本文的主要工作13-14
• 1.4 本文的组织结构14-16
• 第2章 相关技术的介绍及其研究分析16-24
• 2.1 网络流量数据16
• 2.2 网络异常分类16-18
• 2.3 流量异常检测方法研究18-21
• 2.3.1 基于统计分析的异常检测方法18-19
• 2.3.2 基于时间序列的异常检测方法19-20
• 2.3.3 基于机器学习的异常检测方法20-21
• 2.3.4 基于概要数据结构的异常检测方法21
• 2.4 本章小结21-24
• 第3章 基于sketch数据结构与正则性分布的异常检测24-36
• 3.1 问题提出24-25
• 3.2 相关研究25-27
• 3.2.1 网络溯源研究25
• 3.2.2 正则性分布分析25-27
• 3.3 数据结构与算法27-31
• 3.3.1 sketch数据结构27-28
• 3.3.2 基于sketch数据结构的异常检测算法28-31
• 3.4 熵值识别算法31-32
• 3.5 实验与结果分析32-35
• 3.5.1 实验数据32-33
• 3.5.2 精度对比33-35
• 3.6 本章小结35-36
• 第4章 基于EMD分解与主成分分析的异常检测36-50
• 4.1 问题提出36-37
• 4.2 相关研究37-39
• 4.2.1 流量时空相关性分析37
• 4.2.2 基于EMD变换的时频特征信号37-39
• 4.3 主成分分析与算法39-43
• 4.3.1 正常流量模型40-41
• 4.3.2 基于残余流量的异常检测41-43
• 4.4 实验与结果分析43-47
• 4.4.1 实验数据43-45
• 4.4.2 精度对比45-47
• 4.5 本章小结47-50
• 第5章 总结与展望50-52
• 5.1 总结50-51
• 5.2 展望51-52
• 参考文献52-56
• 致谢56-58
• 在读期间发表的学术论文与取得的研究成果58

【参考文献】

中国期刊全文数据库 前10条

1 尹清波,张汝波,李雪耀,王慧强;基于动态马尔科夫模型的入侵检测技术研究[J];电子学报;2004年11期

2 徐晓刚;徐冠雷;王孝通;秦绪佳;;经验模式分解(EMD)及其应用[J];电子学报;2009年03期

3 王东,丁宣浩,陈利霞;信号奇异性的Lipschitz意义[J];桂林电子工业学院学报;2003年05期

4 丁姝郁;;一种基于DBI-PD聚类算法的异常检测机制[J];电脑开发与应用;2015年02期

5 邹柏贤,刘强;基于ARMA模型的网络流量预测[J];计算机研究与发展;2002年12期

6 蒲天银;秦拯;;基于Netflow的流量异常检测技术研究[J];计算机与数字工程;2009年07期

7 马卫;熊伟;;基于协同神经网络的网络流量异常检测[J];华中师范大学学报(自然科学版);2012年05期

8 贾志强;;基于小波的网络流量异常分析与仿真[J];计算机与数字工程;2012年07期

9 颜若愚;;基于流量矩阵和Kalman滤波的DDoS攻击检测方法[J];计算机科学;2014年03期

10 张贤骥;王伦文;;基于构造型神经网络的异常模式发现方法[J];计算机科学;2014年07期

中国博士学位论文全文数据库 前1条

1 陈宁;网络异常检测与溯源方法研究[D];华中科技大学;2009年

  本文关键词：基于降维的骨干网流量异常检测研究，由笔耕文化传播整理发布。

本文编号：386559