高速网络流频繁项挖掘算法

发布时间：2017-11-01 09:16

  本文关键词：高速网络流频繁项挖掘算法

  更多相关文章： 网络流 频繁项 数据挖掘 剪枝策略 计数算法 散列算法 重尾分布 计数型布鲁姆过滤器

【摘要】：在当前骨干网络链路速率呈几何倍数增长的情况下,实时准确地挖掘出网络流中的频繁项对于网络管理和网络安全具有重要的意义.在SS(space saving)计数算法的启发之下,针对网络流的实际特性,提出了一种剪枝操作受时间和流长双重约束的网络流频繁项挖掘算法(integrated weighted frequent items mining,IWFIM).IWFIM计数算法采用时间和流长组合赋权的方式为每个流项赋权,且算法每次剪枝操作时总是删除权值最小的流项.在IWFIM算法的基础上,依据网络流的重尾分布特性,又提出了一种能够结合散列方法和计数方法优点的网络流频繁项挖掘算法(counting Blooming filter and integrated weighted frequent items mining,CBF_IWFIM).CBF_IWFIM算法首先采用改进的计数型布鲁姆过滤器(counting Blooming filter,CBF)在不保存网络流信息的情况下过滤掉绝大部分的短流,然后采用IWFIM算法实现网络流频繁项挖掘.通过实际网络流量测试表明,CBF_IWFIM和IWFIM算法具有非常高的空间利用率和准确率,2种算法对于网络流频繁项的挖掘效果明显优于SS等3种算法,即使在使用其他算法1?3缓存的极端情况下,CBF_IWFIM和IWFIM 2种算法的频繁项识别效果仍然要优于SS等算法.
【作者单位】： 中国人民解放军95034部队;空军工程大学信息与导航学院;空军后勤部;
【关键词】： 网络流 频繁项 数据挖掘 剪枝策略 计数算法 散列算法 重尾分布 计数型布鲁姆过滤器
【基金】：国家自然科学基金项目(61201209) 陕西省自然科学基金重点项目(2012JZ8005) 全军军事学研究生课题(2010JYXXXX-488)
【分类号】：TP393.06
【正文快照】： filter and integrated weighted frequent items mining,CBF_IWFIM).CBF_IWFIM算法首先采用改进的计数型布鲁姆过滤器(counting Blooming filter,CBF)在不保存网络流信息的情况下过滤掉绝大部分的短流,然后采用IWFIM算法实现网络流频繁项挖掘.通过实际网络流量测试表明,CBF_I

【参考文献】

中国期刊全文数据库 前8条

1 裴育杰;王洪波;程时端;;基于两级LRU机制的大流检测算法[J];电子学报;2009年04期

2 张震;汪斌强;陈庶樵;朱珂;;基于多维计数型布鲁姆过滤器的大流检测机制[J];电子与信息学报;2010年07期

3 谢冬青;周再红;骆嘉伟;;基于LRU和SCBF的大象流提取及其在DDoS防御中的应用[J];计算机研究与发展;2011年08期

4 张玉;方滨兴;张永铮;;高速网络监控中大流量对象的识别[J];中国科学:信息科学;2010年02期

5 王伟平;李建中;张冬冬;郭龙江;;一种有效的挖掘数据流近似频繁项算法[J];软件学报;2007年04期

6 王风宇;云晓春;王晓峰;王勇;;高速网络监控中大流量对象的提取[J];软件学报;2007年12期

7 吴桦;龚俭;杨望;;一种基于双重Counter Bloom Filter的长流识别算法[J];软件学报;2010年05期

8 张震;汪斌强;张风雨;梁宁宁;;基于LRU-BF策略的网络流量测量算法[J];通信学报;2013年01期

【共引文献】

中国期刊全文数据库 前10条

1 蒲天银;秦拯;;安全态势数据源近似频繁项分析算法应用[J];福建电脑;2009年08期

2 谢玉忠;朱国魂;吴春;;一种实时有效的AECFP数据流频繁项挖掘算法[J];桂林电子科技大学学报;2009年06期

3 盛小春;薛小锋;;基于数据流的频繁项集数据挖掘算法研究[J];江苏技术师范学院学报;2012年04期

4 李振国;郑惠中;;网络流量采集方法研究综述[J];吉林大学学报(信息科学版);2014年01期

5 胡晓艳;龚俭;;信息中心网络中网络缓存的角色探索[J];电信科学;2014年03期

6 任高明;夏靖波;乔向东;杨仝;;一种用于小流估计的数据包公平抽样算法[J];电子科技大学学报;2014年04期

7 葛琳;季新生;江涛;;基于关联规则的网络信息内容安全事件发现及其Map-Reduce实现[J];电子与信息学报;2014年08期

8 张毅卜;夏靖波;孙昱;任高明;;一种新的基于LRU的大流检测算法[J];电视技术;2014年15期

9 孙世国;黄志敏;叶尚兴;江友华;;基于分布式光纤的电力电缆检测数据质量优化技术[J];电力建设;2014年09期

10 金苍宏;刘泽民;吴明晖;应晶;;一种流数据立方体分析挖掘框架[J];电信科学;2014年09期

中国重要会议论文全文数据库 前1条

1 刘马金;王鹏;汪卫;;一种轮转的数据流频繁项挖掘算法[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年

中国博士学位论文全文数据库 前10条

1 冯光升;面向认知网络的自适应QoS感知与配置方法[D];哈尔滨工程大学;2009年

2 冯博;基于半结构化数据的数据流挖掘算法研究[D];北京邮电大学;2011年

3 屠莉;流数据的频繁项挖掘及聚类的关键技术研究[D];南京航空航天大学;2009年

4 张进;基于布鲁姆过滤器的IP骨干网流量分析前端处理算法研究[D];解放军信息工程大学;2008年

5 张玉;骨干网流监测关键技术研究[D];哈尔滨工业大学;2010年

6 由育阳;数据流容错挖掘算法研究[D];哈尔滨工程大学;2011年

7 刘彩苹;无线传感器网络聚集查询关键技术研究[D];湖南大学;2011年

8 郭建奎;数据流相似性查询及模式挖掘研究[D];复旦大学;2008年

9 赵章荣;精密超磁致伸缩微位移驱动智能构件技术研究[D];浙江大学;2009年

10 陈华辉;基于遗忘特性的数据流概要结构及其应用研究[D];复旦大学;2008年

中国硕士学位论文全文数据库 前10条

1 徐军;网络监控系统的设计与实现[D];电子科技大学;2010年

2 董永吉;基于公平机制的网络测量抽样算法研究[D];解放军信息工程大学;2009年

3 崔燕;基于行为特征的P2P流识别技术的研究[D];解放军信息工程大学;2009年

4 许厘，

本文编号：1126176