一种高效的网络流记录表示方法
本文关键词: 网络流记录表示 TABSI 信息熵 并行查询优化 Netflow 出处:《计算机研究与发展》2013年04期 论文类型:期刊论文
【摘要】:带宽和应用不断发展,迫切需要对应用业务的精细化网络流量进行持续监测.NetFlow的表示方法存在数据组织效率低等问题,导致传输开销过大、历史数据存储空间爆炸增长;聚合NetFlow表示方法又带来大量信息丢失.寻找一种高效的网络流记录表示方法对满足网络测量有着非常重要的意义.提出了一种新的方法——基于对象和应用的流量特征统计描述(TABSI),该方法以单位时间周期内各个监测对象在不同应用下的流量统计、流数目统计及分布为流量信息的基本描述单位,周期性地导出该信息来描述链路流量特征.理论分析表明TABSI比聚合NetFlow记录包含更多的信息量,能够很好地描述网络行为;且TABSI历史数据有效性更强.现网运行测试表明该方法可使传输数据量减少、存储组织高效查询分析更快、存储空间大大减少.
[Abstract]:With the continuous development of bandwidth and applications, it is urgent to continuously monitor the network traffic of application services. NetFlow has some problems such as low efficiency of data organization and so on, which leads to excessive transmission overhead. Historical data storage space explosion growth; The aggregate NetFlow representation method also brings a lot of information loss. It is very important to find an efficient network flow record representation method to satisfy the network measurement. Statistical description of traffic characteristics of images and applications (. TABSI). In this method, the flow statistics, the flow number statistics and the distribution of the flow information are taken as the basic description units of the flow information in different applications of each monitoring object in the unit time cycle. The theoretical analysis shows that TABSI contains more information than aggregate NetFlow records and can describe the network behavior well. The TABSI historical data is more effective. The test results show that the proposed method can reduce the amount of data transferred, efficiently query and analyze the storage organization, and greatly reduce the storage space.
【作者单位】: 中国科学院计算技术研究所;中国科学院大学;
【分类号】:TP393.08
【正文快照】: 网络流量监测分析是网络管理、控制与优化的重要手段.网络管理者使用测量系统来监控网络状况,分析网络存在的问题、控制网络资源的使用以及计费等等.网络监测是在网络运营过程中不可或缺的持续过程.传统的网络流量监测分析主要是通过SNMP[1]来进行网络负载的在线测量和分析,
【参考文献】
相关期刊论文 前1条
1 郭振滨;裘正定;;P2P资源流行度测量与建模[J];通信学报;2009年03期
【共引文献】
相关期刊论文 前3条
1 张广兴;谢高岗;张大方;;尺度变换下Internet流量的Gamma特征[J];计算机研究与发展;2011年09期
2 邢玲;马强;余超;;基于数据包分析的流媒体多语义流行度模型[J];计算机应用研究;2012年09期
3 闫杨;黎文伟;;一种基于BT的域间P2P流量优化方法[J];计算机系统应用;2012年11期
相关博士学位论文 前4条
1 吴敏;P2P网络流量控制管理若干关键技术研究[D];南京邮电大学;2011年
2 郑毅;P2P应用中的用户行为与系统性能研究[D];北京交通大学;2012年
3 周仁杰;社会化媒体内容关注度分析与建模方法研究[D];哈尔滨工程大学;2012年
4 张广兴;多尺度下的IP网络流量特征分析与研究[D];湖南大学;2011年
相关硕士学位论文 前3条
1 穆栋;P2P-SIP通信系统研究与设计[D];西安电子科技大学;2011年
2 闫宁;BitTorrent行为测量与分析[D];哈尔滨工业大学;2010年
3 付枫;基于网络流量熵特性的DoS攻击检测研究[D];吉林大学;2012年
【相似文献】
相关期刊论文 前10条
1 王培发,张世维,李俊;SVG在网络流量监控中的应用与实现[J];微电子学与计算机;2005年04期
2 曹铮;互联网异常流量的Netflow分析[J];中国数据通信;2004年08期
3 朱文燕;;网络流量监控设计与实现[J];电脑编程技巧与维护;2010年12期
4 王军,李敏,肖德宝;基于信息熵的入侵事件依赖性研究[J];计算机工程;2004年18期
5 岳承君;尹凤杰;井元伟;;基于信息熵多种群遗传算法的组播路由[J];计算机工程;2009年11期
6 何可夫,鲁东明,潘云鹤;宽带网络的管理与计费模式研究[J];计算机工程;2002年04期
7 张连明,陈志刚;基于信息熵的IP网端到端行为分析与建模[J];计算机工程与应用;2004年18期
8 韩春静,唐海娜,李俊;IP协议分析仪的设计与实现[J];计算机工程与应用;2005年21期
9 杨嵘,张国清,韦卫,李仰耀;基于NetFlow流量分析的网络攻击行为发现[J];计算机工程;2005年13期
10 忽海娜,程明;基于包过滤的DDoS防御系统[J];天津理工大学学报;2005年05期
相关会议论文 前7条
1 关卿;王宏;;基于信息熵的网络流量矩阵估算方法研究[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(下册)[C];2008年
2 田伟;丁妮;;基于决策树的入侵检测技术[A];普适计算及其软件新技术——第三届长三角计算机科技论坛文集[C];2006年
3 齐法制;王彦明;崔涛;刘宝旭;;基于nProbe的网络流量采集与分析系统设计与实现[A];第十四届全国核电子学与核探测技术学术年会论文集(下册)[C];2008年
4 齐法制;王彦明;崔涛;刘宝旭;;基于nProbe的网络流量采集与分析系统设计与实现[A];第十四届全国核电子学与核探测技术学术年会论文集(2)[C];2008年
5 秦首科;常建龙;谷姗姗;周傲英;;数据流上的综合性突变检测算法[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
6 王劲松;卢强;张洪豪;石凯;张龙;;大规模网络安全事件监控系统设计与实现[A];第26次全国计算机安全学术交流会论文集[C];2011年
7 王琦;;基于贝叶斯决策树算法的垃圾邮件识别机制[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
相关重要报纸文章 前10条
1 张洁;安全监控:NetFlow显身手[N];网络世界;2005年
2 ;IP网管简约之路[N];网络世界;2003年
3 本报记者 于洋;智能 让宽带汇聚更聪明[N];网络世界;2003年
4 金剑;狙击BT下载[N];计算机世界;2005年
5 ;IOS的核心——IP[N];网络世界;2002年
6 ;Cisco IOS软件的IP架构[N];通信产业报;2002年
7 ;可靠性 加 性能 等于……[N];中国电脑教育报;2004年
8 张新艳;宽带汇聚产品搭建应用阶梯[N];人民邮电;2003年
9 黄明泰;边缘交换机智能与性能兼顾[N];中国计算机报;2003年
10 米笑;安全需要集成[N];中国计算机报;2005年
相关博士学位论文 前4条
1 王宏;网络综合流量管理关键技术研究[D];国防科学技术大学;2008年
2 陈松;互联网测量管理若干关键技术研究[D];电子科技大学;2010年
3 王娟;大规模网络安全态势感知关键技术研究[D];电子科技大学;2010年
4 贺伟凇;骨干网络流量异常行为感知方法研究[D];电子科技大学;2011年
相关硕士学位论文 前10条
1 朱建;基于熵估计的网络流量异常检测研究[D];华中科技大学;2007年
2 林贤金;基于信息理论的入侵检测技术研究[D];福州大学;2003年
3 韩立奇;网站导航代价量化与测试算法研究[D];大连理工大学;2006年
4 王洪斌;基于决策树算法的垃圾邮件通信行为检测过滤技术研究[D];哈尔滨理工大学;2008年
5 王传安;基于信息熵SVM的ICMP隐蔽通道检测研究[D];江苏大学;2009年
6 王芳;网站主题目录重要性评价[D];哈尔滨工业大学;2006年
7 阚光远;网络安全态势感知研究[D];电子科技大学;2008年
8 陈伟;基于分布式计算的网络流量异常检测系统[D];北京邮电大学;2010年
9 张国祥;基于NetFlow的校园网异常流量检测方法的实现与分析[D];内蒙古农业大学;2011年
10 林佳涛;基于NetFlow的流量监控系统的设计与实现[D];华南理工大学;2011年
,本文编号:1470421
本文链接:https://www.wllwen.com/guanlilunwen/ydhl/1470421.html