大规模通信网络流量异常检测与优化关键技术研究

发布时间：2016-08-14 22:05

  本文关键词：大规模通信网络流量异常检测与优化关键技术研究，由笔耕文化传播整理发布。

《国防科学技术大学》 2012年

大规模通信网络流量异常检测与优化关键技术研究

郑黎明  

【摘要】：随着网络通信技术的迅速发展、互联网应用的持续深化、所承载信息的日益丰富，互联网已经成为人类社会重要的基础设施。但网络中配置错误、DDoS攻击、蠕虫爆发、突发访问等事件时有发生，互联网面临着严峻的安全挑战。异常检测因为能检测未知攻击而被学术界和工业界人士所重视，研究者提出了大量异常检测方法和系统，但是随着网络带宽的持续增长和网络攻防博弈的持续进行，网络本身处于动态演化的过程，网络攻击手段和方法也在不断演化，导致异常检测系统在检测精度、运行效率、安全性和易用性方面都面临着严峻挑战。如异常检测系统泛化能力差和网络流量的动态性、突发性和漂移性导致检测精度较差；基于特征签名的入侵检测系统不能适应网络带宽的高速增长；各类异常检测系统容易被攻击者绕过；异常检测系统训练数据难于获取等。因此在大规模通信网络环境下，综合考虑多方面要素，提出具有高检测精度和高运行效率的异常检测方法，并优化已有检测算法具有十分重要的意义，也是全球网络安全领域学术界和工业界共同关注的前沿性科学问题。 本文首先分析了已有各类流量异常检测方法，重点分析了异常检测系统在检测精度、运行效率、安全性和易用性方面的不足，针对这些不足，结合了聚类、关联分析、数据流、信息论、在线学习等技术，从不同应用场景出发提出了两种异常检测方法，并针对已有异常检测系统提出了一系列优化策略，所取得的主要研究成果如下： 1、提出了一种基于多维熵序列分类的骨干网上异常检测方法。在已有的研究中基于熵的检测方法因具有较高的检测精度而被研究者广泛采用，但是熵值的计算算法时间和空间复杂度较高，熵序列各时间点之间以及多维熵序列之间的相关性被研究者所忽视。研究发现，网络攻击在某些维度上通常聚集在固定的特征值上，在另外一些维度上则在取值空间上均匀散布，而且网络流量本身在各个维度上呈现Power-Law分布特性，很容易把网络流区分为大流量和小流量，基于上述分析提出了高效的多维熵值估算算法。各个维度上的熵序列存在较强的相关性，为了提高检测精度采用OCSVM对多维熵序列进行分类，同时利用不同时刻的多维熵序列构成的检测向量之间的连续变化趋势优化检测精度。在真实的骨干网流量数据集上，从运行效率和检测精度两方面进行实验，验证了所提方法相比传统的熵检测方法运行效率更高，检测效果更好。 2、提出了一种基于Filter-ary-Sketch的流量异常检测与过滤方法。通常的异常检测系统只能在异常发生时发去告警，但是网络管理者在没有详细异常信息的情况下无法对异常告警做出反应，不能迅速采取有效的方法抑制该异常带来的影响。同时，基于特征分布的检测方法虽然具有较高的检测精度，但是其存在安全缺陷，网络攻击者可以构建特殊的攻击绕过该类检测系统。研究发现，可以把网络流量看作数据流，在该流量数据流上构建Hash概要数据结构，获取流量在各个维度上的Hash直方图，在Hash直方图上采用OCSVM进行分类来检测异常。该方法既能规避基于熵的检测方法存在的安全缺陷，又能有效提高检测精度，最关键的是它能够在异常发生后，按照Hash直方图中保存的流量概要信息，采用相对熵定位导致分布差异的异常桶，在此基础上提出了恶意数据包过滤算法。通过骨干网上真实流量数据从运行效率、检测精度和过滤算法三个方面进行了对比实验，验证了所提算法在时间和空间复杂度上虽然比传统算法高，但是只要合理控制参数依然能够达到满意的效率；在检测精度上同样能够达到基于熵的方法类似的精度；特别是所提方法能够高效地过滤恶意数据包。 3、提出了一种基于检测统计量相关性分析的检测精度优化方法。已有多种异常检测方法，不同的检测方法采用了不同的特征统计量，特征统计量不同时刻的取值之间、同一时刻不同特征统计量之间都存在相关性。本文首先分析了同一统计量时间上的相关性，正常情况下可以把特征统计量看作随机过程，采用支持向量回归模型对该统计量进行预测，而且异常发生时该随机过程在连续多个时间窗口都会出现类似的偏差。随后分析了不同统计量之间存在的相关性，无论是在正常情况下还是在异常发生时各统计量都或多或少呈现出相关性，，且各个检测统计量对异常的检测能力存在较大差异。在上述分析的基础上，提出了多窗口关联检测算法，利用时间上的相关性提高单个检测系统的精度；提出了多测度关联检测算法，利用各统计量之间的相关性提高整个系统的检测精度。通过骨干网上真实流量数据，选取了几类典型的检测方法，验证了所提方法能够有效提高整个系统的检测精度。 4、提出了流量异常检测中分类器的提取与训练方法。基于分类或聚类的方法是流量异常检测中很重要的一类方法，但是网络流量本身具有漂移特性，网络攻击手段和方法也在不断演化，异常检测模型也需要不断更新，这样才能一直精确的刻画网络的正常模式。但是流量异常检测中分类器的提取与训练方法却往往被研究者所忽视。本文综合考虑多个不同评价标准，对比分析了分类向量的构建和分类器的选择问题，提出了采用Hash直方图构建分类向量，采用OCSVM作为分类器能够达到较好的运行效率、较高的检测精度并能够规避其他方法存在的安全缺陷。随后提出了自适应的在线分类器训练方法，为了进一步提高检测精度和运行效率，借鉴上一章中的结论，提出了基于TRW的检测精度优化和新增样本选择算法。在真实的骨干网流量数据集上，从整个系统检测精度和训练算法两方面进行了对比实验，验证了所提算法能够有效提高整个系统的检测精度，通过在线训练算法后的分类器比普通分类器分类效率更好，训练成本更低。 综上所述，本文研究工作针对大规模通信网络流量异常检测中存在的检测精度、运行效率、安全性和易用性方面存在的问题，围绕异常检测及其优化问题涉及的若干个关键技术展开研究。本文对于促进该问题的理论研究和实用化具有一定的理论和应用价值。

【关键词】：
【学位授予单位】：国防科学技术大学
【学位级别】：博士
【学位授予年份】：2012
【分类号】：TP393.06
【目录】：

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【参考文献】

中国期刊全文数据库 前8条

1 孙钦东,张德运,高鹏;基于时间序列分析的分布式拒绝服务攻击检测[J];计算机学报;2005年05期

2 饶鲜,董春曦,杨绍全;基于支持向量机的入侵检测系统[J];软件学报;2003年04期

3 孙知信;唐益慰;程媛;;基于改进CUSUM算法的路由器异常流量检测[J];软件学报;2005年12期

4 龚俭;彭艳兵;杨望;刘卫江;;基于BloomFilter的大规模异常TCP连接参数再现方法[J];软件学报;2006年03期

5 诸葛建伟;王大为;陈昱;叶志远;邹维;;基于D-S证据理论的网络异常检测方法[J];软件学报;2006年03期

6 罗娜;李爱平;吴泉源;陆华彪;;基于概要数据结构可溯源的异常检测方法[J];软件学报;2009年10期

7 严芬;陈轶群;黄皓;殷新春;;使用补偿非参数CUSUM方法检测DDoS攻击[J];通信学报;2008年06期

8 郑黎明;邹鹏;韩伟红;李爱平;贾焰;;基于Filter-ary-Sketch数据结构的骨干网异常检测研究[J];通信学报;2011年12期

【共引文献】

中国期刊全文数据库 前10条

1 唐晓芬;赵秉新;;基于支持向量机的农村劳动力转移预测[J];安徽农业科学;2011年11期

2 张静;胡华平;刘波;肖枫涛;陈新;;剖析DDoS攻击对抗技术[J];信息安全与技术;2010年07期

3 郭良栋;田江;丛晓东;;基于CPSO和SVM的混沌时间序列预测[J];辽宁科技大学学报;2009年06期

4 莫家庆;胡忠望;;DDoS攻击防御模型的仿真研究[J];北方工业大学学报;2011年03期

5 牟少敏;田盛丰;尹传环;;基于协同聚类的多核学习[J];北京交通大学学报;2008年02期

6 李冬;王璐;康文峥;;基于SVM的作战效能灵敏度分析[J];兵工自动化;2011年01期

7 张军;单永海;曹殿广;郑玉新;葛欣鑫;;基于最小二乘支持向量机的机枪加速寿命建模[J];兵工学报;2012年01期

8 庞九凤;李险峰;谢劲松;佟冬;程旭;;基于支持向量机的微体系结构设计空间探索(英文)[J];北京大学学报(自然科学版);2010年01期

9 廖龙飞;王晶;;面向多输出系统的启发式支持向量机回归[J];北京化工大学学报(自然科学版);2011年02期

10 ;Application of support vector machine in the prediction of mechanical property of steel materials[J];Journal of University of Science and Technology Beijing(English Edition);2006年06期

中国重要会议论文全文数据库 前10条

1 刘卓军;李晓明;;一种基于时间序列异常点监测的可疑交易分析方法[A];第十三届中国管理科学学术年会论文集[C];2011年

2 颜七笙;;基于PCA-SVM的动态联盟候选伙伴绩效评价方法[A];第十三届中国管理科学学术年会论文集[C];2011年

3 赵卫;刘济科;;随机结构可靠度分析的支持向量机方法[A];第九届全国振动理论及应用学术会议论文集[C];2007年

4 廖鹏;;基于异常特征的DDoS检测模型[A];经济发展方式转变与自主创新——第十二届中国科学技术协会年会（第四卷）[C];2010年

5 周金柱;黄进;甄立冬;;腔体滤波器制造精度对电性能影响的支持向量建模与优化[A];2011年机械电子学学术会议论文集[C];2011年

6 ;Online Modeling Based on Support Vector Machine[A];2009中国控制与决策会议论文集（1）[C];2009年

7 ;An online outlier detection method for process control time series[A];Proceedings of the 2011 Chinese Control and Decision Conference（CCDC）[C];2011年

8 刘子阳;郭崇慧;;应用支持向量回归方法预测胎儿体重[A];大连理工大学生物医学工程学术论文集（第2卷）[C];2005年

9 徐慧;李云玮;;基于分形和支持向量机的瓦斯涌出量预测研究[A];煤矿自动化与信息化——第19届全国煤矿自动化与信息化学术会议暨中国矿业大学（北京）百年校庆学术会议论文集[C];2009年

10 印家健;李梦龙;;基于HMLP参数的二肽logP值支持向量机预测模型[A];第九届全国计算（机）化学学术会议论文摘要集[C];2007年

中国博士学位论文全文数据库 前10条

1 李建平;面向异构数据源的网络安全态势感知模型与方法研究[D];哈尔滨工程大学;2010年

2 刘效武;基于多源融合的网络安全态势量化感知与评估[D];哈尔滨工程大学;2009年

3 王晓明;基于统计学习的模式识别几个问题及其应用研究[D];江南大学;2010年

4 汤义;智能交通系统中基于视频的行人检测与跟踪方法的研究[D];华南理工大学;2010年

5 吴少智;时间序列数据挖掘在生物医学中的应用研究[D];电子科技大学;2010年

6 王娟;大规模网络安全态势感知关键技术研究[D];电子科技大学;2010年

7 祝晓春;增强型软件项目中测试工作量度量研究[D];浙江大学;2010年

8 卓莹;基于拓扑·流量挖掘的网络态势感知技术研究[D];国防科学技术大学;2010年

9 刘春波;统计建模方法的理论研究及应用[D];江南大学;2011年

10 刘雪美;喷杆喷雾机风助风筒多目标优化设计[D];山东农业大学;2010年

中国硕士学位论文全文数据库 前10条

1 姜成玉;基于支持向量机的时间序列预测[D];辽宁师范大学;2010年

2 解保忠;计算机在矽肺病早期诊断及预测中的应用研究[D];哈尔滨工程大学;2010年

3 徐俏;基于多目标微粒群的转炉合金加入量优化研究[D];大连理工大学;2010年

4 姜力文;基于信息熵的转炉炼钢动态过程建模研究[D];大连理工大学;2010年

5 秦昌友;自治区域系统下的分布式拒绝服务攻击预防体系研究[D];苏州大学;2010年

6 何月梅;分形技术与矢量量化相结合的网络流量异常检测研究[D];河北工程大学;2010年

7 陈启;基于支持向量回归在短期负荷预测中的应用[D];河北工程大学;2010年

8 王瑛;基于模糊聚类的入侵检测算法研究[D];江西理工大学;2010年

9 钟锐;基于隐马尔科夫模型的入侵检测系统研究[D];江西理工大学;2010年

10 范艳华;基于IP地址相关性的DDoS攻击检测研究与实现[D];江苏大学;2010年

【二级参考文献】

中国期刊全文数据库 前10条

1 张剑,龚俭;一种基于模糊综合评判的入侵异常检测方法[J];计算机研究与发展;2003年06期

2 林白,李鸥,刘庆卫;基于序贯变化检测的DDoS攻击检测方法[J];计算机工程;2005年09期

3 林白,李鸥,赵桦;基于源端网络的SYN Flooding攻击双粒度检测[J];计算机工程;2005年10期

4 朱文涛,李津生,洪佩琳;基于路由器代理的分布式湮没检测系统[J];计算机学报;2003年11期

5 李昆仑,黄厚宽,田盛丰,刘振鹏,刘志强;模糊多类支持向量机及其在入侵检测中的应用[J];计算机学报;2005年02期

6 陈伟;何炎祥;彭文灵;;一种轻量级的拒绝服务攻击检测方法[J];计算机学报;2006年08期

7 饶鲜,董春曦,杨绍全;基于支持向量机的入侵检测系统[J];软件学报;2003年04期

8 孙知信;唐益慰;程媛;;基于改进CUSUM算法的路由器异常流量检测[J];软件学报;2005年12期

9 罗娜;李爱平;吴泉源;陆华彪;;基于概要数据结构可溯源的异常检测方法[J];软件学报;2009年10期

10 严芬;陈轶群;黄皓;殷新春;;使用补偿非参数CUSUM方法检测DDoS攻击[J];通信学报;2008年06期

【相似文献】

中国期刊全文数据库 前10条

1 杨雅辉;杜克明;;全网异常流量簇的检测与确定机制[J];计算机研究与发展;2009年11期

2 王海龙;杨岳湘;;基于信息熵的大规模网络流量异常检测[J];计算机工程;2007年18期

3 魏桂英;姜亚星;;基于流数据挖掘的网络流量异常检测及分析研究[J];中国管理信息化;2009年15期

4 蒋文贤;;基于随机分形与马尔可夫模型的网络流量异常检测方法[J];通信技术;2008年10期

5 夏正敏;陆松年;李建华;马进;;基于自相似的异常流量自适应检测方法[J];计算机工程;2010年05期

6 梁昇;肖宗水;许艳美;;基于统计的网络流量异常检测模型[J];计算机工程;2005年24期

7 胡海龙;杭德全;;基于残噪预测的网络流量异常检测算法[J];计算机安全;2009年04期

8 何月梅;杜海艳;王保民;;分形技术与矢量量化相结合的网络流量异常检测研究[J];邯郸学院学报;2009年03期

9 王欣,方滨兴;Hurst参数变化在网络流量异常检测中的应用[J];哈尔滨工业大学学报;2005年08期

10 颜若愚;郑庆华;牛国林;;自适应滤波实时网络流量异常检测方法[J];西安交通大学学报;2009年12期

中国重要会议论文全文数据库 前10条

1 邝祝芳;阳国贵;李清;;基于隐Markov模型的数据库异常检测技术[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

2 蒲晓丰;雷武虎;黄涛;王迪;;基于稳健背景子空间的高光谱图像异常检测[A];中国光学学会2010年光学大会论文集[C];2010年

3 刘辉;蔡利栋;;Linux进程行为的模式提取与异常检测[A];信号与信息处理技术——第一届信号与信息处理联合学术会议论文集[C];2002年

4 谭莹;王丹;;基于流量的网络行为分析模型的设计与实现[A];2010年全国通信安全学术会议论文集[C];2010年

5 乔立岩;彭喜元;彭宇;;基于支持向量机的键盘密码输入异常检测方法研究[A];2004全国测控、计量与仪器仪表学术年会论文集（上册）[C];2004年

6 董恩生;董永贵;贾惠波;;飞机交流发电机异常检测方法的研究[A];第二届全国信息获取与处理学术会议论文集[C];2004年

7 张立燕;;基于定点成分分析的高光谱图像低概率异常检测方法研究[A];中国地理学会百年庆典学术论文摘要集[C];2009年

8 许列;王明印;;基于隐马尔可夫模型(HMM)实时异常检测[A];中国通信学会第六届学术年会论文集（上）[C];2009年

9 王树广;;分布式数据流上的连续异常检测[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年

10 于延;王建华;张军;;基于RBF和Elman混合神经网络的入侵检测系统的研究[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年

中国重要报纸全文数据库 前10条

1 本报记者 边歆;[N];网络世界;2006年

2 Garry Sexton;[N];中国计算机报;2003年

3 吴作顺;[N];中国计算机报;2002年

4 ;[N];网络世界;2005年

5 刘波记者季昌仁;[N];中国质量报;2003年

6 记者 毛磊;[N];新华每日电讯;2003年

7 费宗莲;[N];中国计算机报;2005年

8 ;[N];网络世界;2003年

9 ;[N];中国计算机报;2003年

10 中联绿盟、李群;[N];中国计算机报;2002年

中国博士学位论文全文数据库 前10条

1 郑黎明;大规模通信网络流量异常检测与优化关键技术研究[D];国防科学技术大学;2012年

2 周俊临;基于数据挖掘的分布式异常检测[D];电子科技大学;2010年

3 吴志忠;移动设备及网络的异常检测方法研究[D];中国科学技术大学;2013年

4 赵静;网络协议异常检测模型的研究与应用[D];北京交通大学;2010年

5 熊伟;基于突变理论及协同学的网络流量异常检测方法研究[D];华中科技大学;2011年

6 魏小涛;在线自适应网络异常检测系统模型与相关算法研究[D];北京交通大学;2009年

7 马丽;基于流形学习算法的高光谱图像分类和异常检测[D];华中科技大学;2010年

8 夏正敏;基于分形的网络流量分析及异常检测技术研究[D];上海交通大学;2012年

9 郁继锋;基于数据挖掘的Web应用入侵异常检测研究[D];华中科技大学;2011年

10 贺伟凇;骨干网络流量异常行为感知方法研究[D];电子科技大学;2011年

中国硕士学位论文全文数据库 前10条

1 李中魁;基于动态阈值的网络流量异常检测方法研究与实现[D];电子科技大学;2010年

2 金飞蔡;基于移动agent技术的入侵检测系统的设计与实现[D];电子科技大学;2004年

3 詹伟;关系数据库入侵检测系统的设计与实现[D];华中科技大学;2004年

4 李丹;异常数据挖掘算法研究及其在税务上的应用[D];山东大学;2005年

5 陈霞云;基于移动代理的入侵检测系统[D];西安电子科技大学;2004年

6 李婷;基于程序行为的异常检测模型研究[D];青岛大学;2004年

7 李波;基于数据挖掘的异常模式入侵检测研究[D];东北大学;2005年

8 朱义鑫;基于网络的隐马尔可夫异常检测技术研究[D];新疆大学;2005年

9 杜瑞峰;网络流量监测技术的研究及其在安全管理中的应用[D];中南大学;2005年

10 郝双;对拒绝服务攻击的检测方法研究[D];清华大学;2005年

  本文关键词：大规模通信网络流量异常检测与优化关键技术研究，由笔耕文化传播整理发布。

本文编号：94241