一种高效率的大流提取方法
本文选题:网络测量 切入点:大流 出处:《计算机研究与发展》2013年04期
【摘要】:随着网络带宽的不断提高,在线识别大流对于拥塞控制、异常检测等网络应用具有重要意义.提出了一种提取大流的算法FEFS(flow extracting with frequency size),能够通过在线识别和淘汰小流,把大流信息保存在有限的高速存储空间中,从而快速提取大流.该算法利用LRU(least recently used)定位更新频率低的流,并进一步用流尺寸因子s和自适应调节因子M标记其中相对较小的流,最后用新到达的流将其替换.FEFS把LRU策略和尺寸因子s相结合,同时考虑了流的近期更新频率和累积报文数量,因此能够准确在线识别大流.LRU策略和尺寸因子都利用了流大小的重尾分布特征,因此FEFS能以很低的存储代价保存和更新大流信息.模拟实验表明,在限定存储条件下,FEFS的平均相对误差率明显低于经典的multi-stage filter算法,而平均报文处理时间也短于multi-stage filter算法.
[Abstract]:With the increasing of network bandwidth, it is very important to identify large flows online for network applications such as congestion control and anomaly detection. An algorithm for extracting large flows, FEFS(flow extracting with frequency size, is proposed, which can identify and eliminate small streams online. Large stream information is stored in limited high speed storage space to extract large stream quickly. The algorithm uses LRU(least recently usedto locate the stream with low update frequency, and further uses flow size factor s and adaptive adjustment factor M to mark the relatively small stream. Finally, the newly arrived stream is replaced by .FEFS to combine the LRU strategy with the size factor s, taking into account the recent update frequency of the stream and the number of cumulative packets. Therefore, the large stream. LRU strategy and size factor can be accurately identified online using the heavy tail distribution feature of the flow size. Therefore, FEFS can save and update the large stream information at a very low storage cost. The simulation results show that, Under limited storage conditions, the average relative error rate of FEFS is obviously lower than that of the classical multi-stage filter algorithm, and the average packet processing time is also shorter than that of multi-stage filter algorithm.
【作者单位】: 山东大学计算机科学与技术学院;中国科学院信息工程研究所;
【基金】:国家自然科学基金项目(60803142) 山东省优秀中青年科学家科研奖励基金项目(BS2009DX018) 山东省自然科学基金项目(2009ZRB019ON)
【分类号】:TP393.06
【参考文献】
相关期刊论文 前3条
1 裴育杰;王洪波;程时端;;基于两级LRU机制的大流检测算法[J];电子学报;2009年04期
2 程光,龚俭,丁伟,徐加羚;面向IP流测量的哈希算法研究[J];软件学报;2005年05期
3 王风宇;云晓春;王晓峰;王勇;;高速网络监控中大流量对象的提取[J];软件学报;2007年12期
【共引文献】
相关期刊论文 前10条
1 路瑞丰;韩国强;秦拯;;一种用于高速入侵检测的基于P2P的均匀哈希分流算法[J];东莞理工学院学报;2008年05期
2 许博;陈宁军;沈小卫;;一种基于SNMP的网络蠕虫防治方法——利用无级别分布式监测和SNMP抑制蠕虫传播[J];计算机安全;2008年12期
3 孙逊;王占丰;周玉明;王佳;;流比对技术在P2P流量分析系统中的应用[J];计算机安全;2009年12期
4 万成威;邬江兴;李玉峰;兰巨龙;;CAM辅助的哈希表查找性能分析[J];电子与信息学报;2011年02期
5 陈明建;陈宇;许榕生;;基于NP的负载均衡系统的设计实现[J];福建电脑;2006年02期
6 蔡少敏;丁伟;张俊;;一种面向时间粒度的流记录聚合自适应哈希函数[J];广西大学学报(自然科学版);2011年S1期
7 吴和生;王崇骏;谢俊元;;一种多核环境中无锁的多进程负载均衡会话保持方案[J];电子与信息学报;2013年04期
8 田伟;顾韵华;;网络行为监测模型系统研究与实现[J];淮阴师范学院学报(自然科学版);2007年01期
9 熊兵;李峰;姜腊林;陈晓苏;;面向高速网络连接记录管理的高效哈希表[J];华中科技大学学报(自然科学版);2011年02期
10 陈鸣;许博;;一种基于NetFlow的网络蠕虫检测算法[J];解放军理工大学学报(自然科学版);2006年04期
相关博士学位论文 前10条
1 冯光升;面向认知网络的自适应QoS感知与配置方法[D];哈尔滨工程大学;2009年
2 张进;基于布鲁姆过滤器的IP骨干网流量分析前端处理算法研究[D];解放军信息工程大学;2008年
3 张玉;骨干网流监测关键技术研究[D];哈尔滨工业大学;2010年
4 黄鹂声;基于被动测量的IP网络性能与故障管理技术研究[D];电子科技大学;2011年
5 谢鲲;布鲁姆过滤器查询算法及其应用研究[D];湖南大学;2007年
6 吉萌;高性能业务路由器系统软件研究[D];华中科技大学;2006年
7 陈曙晖;基于内容分析的高速网络协议识别技术研究[D];国防科学技术大学;2007年
8 陈一骄;网络入侵检测系统高速处理技术研究[D];国防科学技术大学;2007年
9 赵章荣;精密超磁致伸缩微位移驱动智能构件技术研究[D];浙江大学;2009年
10 王宏;网络综合流量管理关键技术研究[D];国防科学技术大学;2008年
相关硕士学位论文 前10条
1 徐军;网络监控系统的设计与实现[D];电子科技大学;2010年
2 笱程成;基于多核架构的高速IP包捕获技术研究[D];解放军信息工程大学;2010年
3 董永吉;基于公平机制的网络测量抽样算法研究[D];解放军信息工程大学;2009年
4 张震;高速IP网络中流量测量的关键技术研究[D];解放军信息工程大学;2009年
5 崔燕;基于行为特征的P2P流识别技术的研究[D];解放军信息工程大学;2009年
6 张果;IP骨干链路流量测量技术研究[D];解放军信息工程大学;2010年
7 陈晓东;基于ARM-LINUX的网络流量监测系统[D];东华大学;2011年
8 黄超;网络异常行为检测与分析方法研究[D];西安电子科技大学;2010年
9 李丛;业务选择网关连接控制模型的研究[D];西安电子科技大学;2010年
10 贾慧;网络异常流量检测模型设计[D];曲阜师范大学;2011年
【二级参考文献】
相关期刊论文 前4条
1 程光,龚俭,丁伟;基于分组标识的网络流量抽样测量模型[J];电子学报;2002年S1期
2 程光,龚俭,丁伟;基于统计分析的高速网络分布式抽样测量模型[J];计算机学报;2003年10期
3 龚俭;彭艳兵;杨望;刘卫江;;基于BloomFilter的大规模异常TCP连接参数再现方法[J];软件学报;2006年03期
4 王洪波;韦安明;林宇;程时端;;流测量中基于测量缓冲区的时间分层分组抽样[J];软件学报;2006年08期
【相似文献】
相关期刊论文 前10条
1 赵洪华,陈鸣,郝继红,李健;网络性能特性的描述和测量[J];解放军理工大学学报(自然科学版);2004年05期
2 高琴,谭琳,胡谷雨;一个网络流量监测系统的设计与实现[J];现代电子技术;2005年04期
3 李健,张辉,何飞,有悦;面向通讯工程的网络服务质量监测和控制系统[J];计算机工程;2000年S1期
4 吴桦,丁伟;基于奇异谱方法的网络行为分析[J];东南大学学报(自然科学版);2002年06期
5 过晓冰,伍卫国,刘敏,钱德沛;网络传输时延的测量方法[J];计算机应用研究;2002年07期
6 曹洪武,瞿国平;一种网络测量协议的研究与实现[J];华中科技大学学报(自然科学版);2003年S1期
7 郝继红,陈鸣,赵洪华,张睿;NWS预测子系统的应用[J];解放军理工大学学报(自然科学版);2004年06期
8 高文宇,陈松乔,王建新;动态的时间驱动的分组采样技术[J];通信学报;2005年04期
9 潘飞;高岭;;网络测量及其关键技术[J];计算机技术与发展;2006年07期
10 李润知;王红安;张立仿;;基于Netflow技术的网络流量测量的研究[J];中州大学学报;2006年04期
相关会议论文 前10条
1 陈鸣;吴才新;李兵;高屹;张涛;范霖;沙昆;;分布式网络性能管理系统:概念与实现[A];第六届全国计算机应用联合学术会议论文集[C];2002年
2 蒋序平;陈鸣;;一种基于XML的网络测量信息描述方法[A];第一届全国Web信息系统及其应用会议(WISA2004)论文集[C];2004年
3 许鑫;何泾沙;石恒华;;基于端到端丢包测量的网络瓶颈链路推断方法[A];中国通信学会通信软件技术委员会2009年学术会议论文集[C];2009年
4 杜建清;黄少君;杨家海;;网络测量协作柔性支撑平台[A];2009年全国开放式分布与并行计算机学术会议论文集(下册)[C];2009年
5 周虹霞;田忠;王俊峰;;Internet性能测量研究[A];第九届全国青年通信学术会议论文集[C];2004年
6 高长喜;辛阳;钮心忻;杨义先;;基于行为特征分析的P2P流量识别技术的研究[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
7 张小辰;杨双;王新;薛向阳;;一种基于网络测量的公平性保障机制[A];第三届和谐人机环境联合学术会议(HHME2007)论文集[C];2007年
8 丁森林;金键;毛伟;;基于主动测量的DNS监测系统[A];中国通信学会信息通信网络技术委员会2009年年会论文集(上册)[C];2009年
9 张国敏;苏巨诗;王松;王娜;;分域式流媒体CDN的负载均衡策略[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年
10 肖新光;吴冰;邱永良;张晓兵;;网络病毒的宏观性统计方法[A];全国网络与信息安全技术研讨会'2005论文集(上册)[C];2005年
相关重要报纸文章 前6条
1 陈刚 鲍剑洋 丁颖;为网络“把脉”[N];计算机世界;2003年
2 ;NPO——网络管理和安全的核心[N];网络世界;2003年
3 本报记者 潘永花;Sniffer 架构日臻丰富[N];网络世界;2003年
4 本报记者 胡英;让故障分析精细化[N];计算机世界;2003年
5 ;安全!安全!还是安全![N];通信产业报;2005年
6 山枫;“监听”降低客户风险[N];中国计算机报;2003年
相关博士学位论文 前10条
1 张敏;基于应用层和传输层的网络测量分析研究[D];北京交通大学;2012年
2 张沛;网络测量数据隐私保护若干关键技术研究[D];北京邮电大学;2012年
3 王俊峰;高速互联网性能测量若干关键技术研究[D];电子科技大学;2004年
4 余杰;P2P网络测量与安全关键技术研究[D];国防科学技术大学;2010年
5 邓晓衡;有线/无线网络中基于网络测量的拥塞控制研究[D];中南大学;2005年
6 孙红杰;基于主动测量的网络性能分析[D];哈尔滨工业大学;2007年
7 张海;分组抽样下网络测量可扩展性问题及其关键算法的研究[D];华南理工大学;2010年
8 蔡志平;基于主动和被动测量的网络测量技术、模型和算法研究[D];国防科学技术大学;2005年
9 刘瑞芳;网络性能测量和推测技术的研究[D];北京邮电大学;2006年
10 黎文伟;端到端互联网性能监测技术研究[D];湖南大学;2006年
相关硕士学位论文 前10条
1 王e鴈,
本文编号:1664603
本文链接:https://www.wllwen.com/guanlilunwen/ydhl/1664603.html