基于Hadoop的网络分流和流特征计算

发布时间：2017-12-04 14:34

  本文关键词：基于Hadoop的网络分流和流特征计算

  更多相关文章： MapReduce 网络分流 特征 并行计算

【摘要】：网络流量特征计算是网络流量分析的一个重要步骤,对于海量网络流量数据,并行化计算网络流量特征是高效网络流量分析的重要方法。针对传统单机处理成本高、可扩展性差的问题,提出一种基于Map Reduce编程模型的网络流量分析方法,并行实现网络分流和流量特征计算。通过使用Hadoop平台对实际数据进行分析,统计常用网络流量属性特征,实验表明,该方法分析网络流量特征的结果准确可信,且适合分析大流量数据。
【作者单位】： 重庆市高校通信网测试技术工程研究中心;重庆邮电大学通信与信息工程学院;重庆邮电大学电子信息与网络工程研究院;
【基金】：重庆市应用开发计划基金资助项目(No.cstc2013yykf A40006)
【分类号】：TP393.06
【正文快照】： 1引言随着互联网的发展,网络流量分析在诸多方面得到了应用,利用网络流量特征信息可统计网络负荷、检测通信质量、预测网络流量以及分类网络流量等,网络流量分析是准确检测管理和控制网络的基础。参考文献[1]表明,基于数据流和抽样方法是流量测量中的主要方法,其中抽样方法虽

【参考文献】

中国期刊全文数据库 前5条

1 李明;叶继华;李建莲;杨庆红;丁树良;;基于Hash聚合的网络流量管理研究[J];江西师范大学学报(自然科学版);2011年02期

2 杨新宇;杨树森;李娟;;基于非线性预处理网络流量预测方法的泛洪型DDoS攻击检测算法[J];计算机学报;2011年02期

3 何高峰;杨明;罗军舟;张璐;;Tor匿名通信流量在线识别方法[J];软件学报;2013年03期

4 周爱平;程光;郭晓军;;高速网络流量测量方法[J];软件学报;2014年01期

5 QIAO Yuan-yuan;LEI Zhen-ming;YUAN Lun;GUO Min-jie;;Offline traffic analysis system based on Hadoop[J];The Journal of China Universities of Posts and Telecommunications;2013年05期

【共引文献】

中国期刊全文数据库 前10条

1 王珏;;重叠型P2P网络中的查询负载均衡策略研究[J];江西师范大学学报(自然科学版);2012年03期

2 李秉桓;董永吉;;一种NetFIow流量采集探测器的设计[J];计算机安全;2012年02期

3 李振国;郑惠中;;网络流量采集方法研究综述[J];吉林大学学报(信息科学版);2014年01期

4 谢柏林;蒋盛益;张倩生;;基于请求关键词的应用层DDoS攻击检测方法[J];计算机科学;2013年07期

5 冯玮;叶继华;程艳;;一种改进的数据包丢弃概率计算方法PRED[J];计算机工程与应用;2013年16期

6 李双;;一种安全的具有匿名性的可搜索加密方案[J];计算机工程与应用;2013年16期

7 李春林;黄月江;牛长喜;;一种面向云计算的网络异常流量分组方法[J];计算机应用研究;2014年12期

8 谢丽霞;代其魁;杨宏宇;;一种基于多元异常分析的网络自主防护机制[J];中国科学技术大学学报;2011年10期

9 张祖莲;王命全;李景林;顾雅文;;一种自定义动态密钥预防DDoS攻击的算法[J];微型机与应用;2013年20期

10 姜开达;李霄;孙强;;基于网络流量元数据的安全大数据分析[J];信息网络安全;2014年05期

中国硕士学位论文全文数据库 前8条

1 唐湘滟;网络安全态势评估系统的研究与实现[D];湖南农业大学;2011年

2 文政;基于混沌—支持向量机理论的网络流量预测[D];郑州大学;2012年

3 孙志磊;网络攻击源追踪技术研究[D];浙江工业大学;2012年

4 黄宸;Web服务DDoS攻击的防御技术研究[D];北京邮电大学;2013年

5 李秀龙;基于网络流量监测与预测的用户流量行为分析方法研究[D];北京工业大学;2013年

6 高瞻;基于NetFlow技术的网络流量测量与分析[D];广西大学;2012年

7 陈荣茂;复杂网络威胁建模与检测技术研究[D];国防科学技术大学;2013年

8 詹煜;基于行为自相似分析的DDoS攻击检测与追踪[D];中南大学;2014年

【二级参考文献】

中国期刊全文数据库 前10条

1 冯为华;舒如天;;基于校园网的分布式管理信息系统的研究[J];江西师范大学学报(自然科学版);2009年04期

2 谢凤成;;下一代远程网络配置管理系统的研究与实现[J];江西师范大学学报(自然科学版);2010年03期

3 叶继华;马丽红;罗贤海;;基于电力线载波的远程教育系统构建与应用[J];中国远程教育;2006年04期

4 李金明;王汝传;;基于VTP方法的DDoS攻击实时检测技术研究[J];电子学报;2007年04期

5 王洪波;程时端;林宇;;高速网络超连接主机检测中的流抽样算法研究[J];电子学报;2008年04期

6 程光;龚俭;丁伟;吴桦;强士卿;;基于自适应抽样的超点检测算法[J];中国科学(E辑:信息科学);2008年10期

7 ;Identifying heavy hitters in high-speed network monitoring[J];Science China(Information Sciences);2010年03期

8 何海涛,罗笑南,郭清顺;Netflow在边界网流量测量中的应用研究[J];计算机工程与应用;2004年11期

9 张学工;关于统计学习理论与支持向量机[J];自动化学报;2000年01期

10 程光,龚俭,丁伟;基于抽样测量的高速网络实时异常检测模型[J];软件学报;2003年03期

【相似文献】

中国期刊全文数据库 前10条

1 王宇清;;一个网络流量分析器的设计与实现[J];计算机与信息技术;2005年03期

2 闫军;;网络流量分析解决方案[J];华南金融电脑;2007年03期

3 房亚群;;网络流量分析现状[J];硅谷;2009年23期

4 王宇;;网络流量分析技术及其应用[J];科技创业月刊;2010年03期

5 关天柱;;网络流量分析系统的设计与实现[J];信息与电脑(理论版);2010年08期

6 师鸣若;;基于邻接序列模式挖掘的网络流量分析[J];电脑开发与应用;2010年10期

7 金红;李姝宁;云洁;;基于多变的网络环境的网络流量分析[J];内蒙古科技与经济;2011年16期

8 曹平;;基于数据挖掘技术的网络流量分析预测系统研究[J];软件导刊;2012年05期

9 彭勋;;网络流量分析预测研究[J];计算机光盘软件与应用;2012年09期

10 江萍萍;;网络流量分析系统的设计研究[J];科技风;2012年19期

中国重要会议论文全文数据库 前2条

1 刘平;王健;;校园网网络流量分析与控制[A];全国第20届计算机技术与应用学术会议（CACIS·2009）暨全国第1届安全关键技术与应用学术会议论文集（上册）[C];2009年

2 万里;王明生;沈志勇;林东岱;;基于序贯模式挖掘的宏观网络流量异常检测[A];全国网络与信息安全技术研讨会论文集（上册）[C];2007年

中国重要报纸全文数据库 前5条

1 《网络世界》记者 李夏艳;远程亦可见[N];网络世界;2012年

2 东软网络安全产品营销中心副总经理 李青山;流量安全不能雾里看花[N];网络世界;2008年

3 路娜;新资本市场下的安全机遇[N];中国计算机报;2008年

4 《网络世界》记者 鹿宁宁;用“新”打造下一代应用安全[N];网络世界;2014年

5 易水;计算机专业时文选读（934）[N];计算机世界;2004年

中国硕士学位论文全文数据库 前10条

1 高燕;网络流量分析系统的设计和实现[D];四川大学;2004年

2 刘志远;网络流量分析预测系统的设计与实现[D];黑龙江大学;2011年

3 张潇晓;网络流量分析关键技术研究与系统实现[D];国防科学技术大学;2012年

4 闫晓艳;分布式网络流量分析系统的研究与实现[D];山东大学;2014年

5 童行行;基于机器学习的网络流量分析研究[D];清华大学;2005年

6 杜鑫;基于分布特征的网络流量分析技术研究[D];解放军信息工程大学;2009年

7 张婧;宽带网络流量分析和业务重组[D];北京邮电大学;2010年

8 温源;面向网络流量分析的网格系统的设计与实现[D];北京邮电大学;2008年

9 姜雪梅;网络流量分析系统[D];吉林大学;2008年

10 刘鑫;网络流量分析系统的设计与实现[D];天津大学;2013年

，

本文编号：1251346