面向高速网络流量测量的关键技术研究

发布时间：2017-04-03 08:07

  本文关键词：面向高速网络流量测量的关键技术研究，，由笔耕文化传播整理发布。

【摘要】：随着互联网应用的不断拓展与深化,网络流量快速增长,网络结构日益复杂,网络协议种类多样。为保证互联网高效运行,需要网络提供准确的态势感知与精细化的管理能力。对网络流量进行细粒度统计分析是实现态势感知和精细管理的基础,对于优化网络资源配置,提高网络服务能力具有重要意义。本文首先总结了在网络流量测量中的关键技术所面临的问题,然后针对这些问题展开研究,介绍了网络流量测量的模型、主要技术和常用方法的相关理论研究。着重对网络流量测量中的关键技术进行了深入的研究。本文的主要工作如下:第一,针对当前在网络流量测量中统计报文时计数器可能发生溢出的情况。提出了一种适合高速流的报文统计型Bloom Filter结构(DOFC-BF结构),并阐述了其相应的更新算法。着重分析了该结构在重建时在空间和时间上的复杂度。最后,使用了真实的数据对该结构的验证。第二,提出了基于面向报文统计型Bloom Filter的大小流检测方法。本文假设网络流量流长的分布为Pareto(帕累托)分布。首先使用了极值理论里的Hill估计来Pareto分布的参数进行估计,得出Pareto分布的参数和阈值。利用阈值来区分大小流,然后针对大小流选用不同精度的抽样函数。使用真实的流量数据对大小流检测方法仿真。仿真的结果表明:在保证一定的精度的条件下,该方法使网络流量数据约减效果更好。最后,实现了基于多核网络处理器网络流量测量原型系统。着重分析了抽样统计模块以及信息存储模块的实现方法,并测试和分析了原型系统的性能。
【关键词】：网络流量测量 网络流量报文统计 数据约减 大小流检测
【学位授予单位】：国防科学技术大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.06
【目录】：

• 摘要9-10
• ABSTRACT10-11
• 第一章 绪论11-19
• 1.1 研究背景与意义11-12
• 1.2 网络流量测量12-14
• 1.2.1 网络流量测量模型12-13
• 1.2.2 网络流量测量属性13
• 1.2.3 主动测量技术13
• 1.2.4 被动测量技术13-14
• 1.3 挑战与问题14-15
• 1.3.1 被动测量与分析面临的挑战14
• 1.3.2 关键技术面临的问题14-15
• 1.4 本文主要工作15-16
• 1.5 本文的组织结构16-19
• 第二章 相关技术研究19-29
• 2.1 被动测量模型19-20
• 2.2 常用的网络流量测量工具20-21
• 2.2.1 NetFlow20
• 2.2.2 RMON20
• 2.2.3 sFlow20
• 2.2.4 SNMP20-21
• 2.3 网络流量测量关键技术21-27
• 2.3.1 概要信息统计21-23
• 2.3.2 抽样技术23-25
• 2.3.3 内存存储技术25-27
• 2.4 本章小结27-29
• 第三章 基于报文统计型Bloom Filter的大小流检测方法29-43
• 3.1 相关知识29-33
• 3.1.1 Bloom Filter29-31
• 3.1.2 网络流分布31-32
• 3.1.3 极值理论32-33
• 3.2 一种面向流报文统计型Bloom Filter33-38
• 3.2.1 DOFC-BF结构33-35
• 3.2.2 更新算法35-36
• 3.2.3 OFC重建36-37
• 3.2.4 Hash函数选择37-38
• 3.3 大小流检测方法38-41
• 3.3.1 大小流检测结构38
• 3.3.2 大小流检测理论38-40
• 3.3.3 大小流抽样函数选择40-41
• 3.4 本章小结41-43
• 第四章 基于多核网络处理器的系统设计与实现43-53
• 4.1 系统框架介绍43-45
• 4.2 多核网络处理器资源分配45-47
• 4.3 前端处理模块设计与实现47-48
• 4.4 信息存储模块设计与实现48-52
• 4.4.1 内存动态管理49-50
• 4.4.2 内存数据组织50-52
• 4.5 本章小结52-53
• 第五章 实验测试与分析53-63
• 5.1 DOFC-BF测试53-58
• 5.1.1 查询时间53-55
• 5.1.2 插入时间55-57
• 5.1.3 重建时间57-58
• 5.2 大小流检测实验与分析58-60
• 5.3 基于多核网络处理器的系统测试60-62
• 5.3.1 实验环境60-61
• 5.3.2 实验方法61
• 5.3.3 实验结果61-62
• 5.4 本章小结62-63
• 结束语63-65
• 致谢65-67
• 参考文献67-71
• 作者在学期间取得的学术成果71

【相似文献】

中国期刊全文数据库 前10条

1 ;流量测量新技术新产品交流会在北京召开[J];自动化与仪表;2009年09期

2 ;流量测量新技术新产品交流会[J];国外电子测量技术;2009年09期

3 李静;国洪觅;;压力补偿型超声波流量测量系统的设计[J];传感器世界;2010年11期

4 张绪伟;段培永;段晨旭;杨修文;;Unscented Kalman滤波的流量测量研究[J];计算机工程与应用;2011年01期

5 陈高峰;;流量测量中若干问题的计量学基本原则[J];科技传播;2012年09期

6 张智敏;;体积管流量测量法的应用及其加注自动化[J];科技传播;2012年12期

7 杨世杰;唐武忠;;大管径气体流量测量设计研究[J];测控技术;2012年08期

8 高彦军;;仪表自动化中的流量测量[J];科技传播;2012年16期

9 樊森;;火电厂流量测量装置安装控制要点及预控建议[J];科技传播;2013年15期

10 张天石;;智能化流量测量仪硬件设计[J];自动化与仪表;1988年04期

中国重要会议论文全文数据库 前10条

1 盖东飞;张力;杨征;;基于面积流测量原理的新型流量测量装置[A];中国仪器仪表学会2007学术年会智能检测控制技术及仪表装置发展研讨会论文集[C];2007年

2 李芳;李艾华;黄志刚;;紊流流体超声波流量测量研究[A];2007'中国仪器仪表与测控技术交流大会论文集（二）[C];2007年

3 赵宪义;;气体流量测量的温度与压力补偿[A];2011年河北省冶金信息化自动化年会论文集[C];2011年

4 承轩德;;能源计量中的流量测量[A];江苏省能源研究会第七届学术年会论文集[C];1998年

5 王永涛;刘永平;;火电厂流量测量总结[A];发耳电厂4×600MW机组工程施工论文总结汇编[C];2010年

6 张敏;周鑫玲;王向军;;微桥式传感器在微小气体流量测量中的应用[A];首届信息获取与处理学术会议论文集[C];2003年

7 程代京;郭福田;申忠如;姚秀平;高辉;王智团;;锅炉智能连续排污流量测量系统[A];西部大开发 科教先行与可持续发展——中国科协2000年学术年会文集[C];2000年

8 王科;;流量测量系统的现场校验[A];江苏省计量测试学术论文集[C];2007年

9 冯欣;陈晓波;袁静;韦茵;;一种用于渠道流量测量的新方法[A];全面建设小康社会：中国科技工作者的历史责任——中国科协2003年学术年会论文集（下）[C];2003年

10 李普良;刘青松;;发动机高温防冰引气流量测量与误差分析[A];2010航空试验测试技术学术交流会论文集[C];2010年

中国重要报纸全文数据库 前1条

1 特约记者 汪志;多相流量测量装置走红国际市场[N];中国化工报;2006年

中国博士学位论文全文数据库 前7条

1 李跃忠;多声道超声波气体流量测量关键技术研究[D];华中科技大学;2010年

2 罗守南;基于超声多普勒方法的管道流量测量研究[D];清华大学;2004年

3 刘琪芳;气液两相流流量测量的ERT成像技术研究[D];中北大学;2015年

4 尚凤军;基于边缘测量的高速网络链路流量测量系统研究[D];重庆大学;2005年

5 马龙博;油水两相流量测量研究及在三相流量测量中的应用[D];浙江大学;2006年

6 杨洁;基于流量测量的网络QoS改善若干关键问题研究[D];北京邮电大学;2007年

7 张震;基于流量测量的高速IP业务感知技术研究[D];解放军信息工程大学;2012年

中国硕士学位论文全文数据库 前10条

1 杨柱;电导率与流量测量应用技术研究[D];西安石油大学;2015年

2 张淋淋;网络流量测量中的抽样算法研究[D];曲阜师范大学;2015年

3 孙瑜;网络流量测量关键技术研究[D];西安工业大学;2015年

4 曲坚;差压装置流量测量范围度扩展方法研究与实验[D];华北电力大学;2015年

5 杨国海;校园网冗余流量测量技术研究[D];西南科技大学;2015年

6 刘伟帅;基于热扩散式恒功率流量测量研究[D];东北石油大学;2015年

7 贾伟;钻井泥浆漏失检测技术研究[D];西安石油大学;2015年

8 林淑玲;V锥流量测量系统误差补偿的研究[D];福州大学;2014年

9 任新新;IPV6校园网流量测量与管理系统的设计与研究[D];曲阜师范大学;2016年

10 鲍文彦;互联网流量测量及分类技术的研究与设计[D];曲阜师范大学;2015年

  本文关键词：面向高速网络流量测量的关键技术研究，由笔耕文化传播整理发布。

本文编号：283977