高速网络流采集系统的设计与实现

发布时间：2017-08-31 16:12

  本文关键词：高速网络流采集系统的设计与实现

  更多相关文章： NetFPGA-G 高速网络流 分类 采集 正则表达式匹配引擎 精确串匹配

【摘要】：针对基于软件的网络流采集系统不能高效处理高速网络流量,以及为了提高采集效率需要同时对多种网络流进行采集的问题,提出一种基于软硬件结合的高速网络流采集框架,探讨在NetFPGA-10G平台实现高速网络流采集系统,称之为HSNTCS。该系统在硬件上通过精确串匹配引擎或正则表达式匹配引擎过滤、分类出所需的多种网络流后,将其传至内核驱动层对应的数据缓冲区,然后直接拷贝至用户空间并存储至对应的数据库。经实验测试,在精确串匹配情况下,用硬件方式实现的高速网络流采集系统的用户数据报协议(UDP)、传输控制协议(TCP)吞吐率都达到1.2Gb/s,约是用软件方式实现的3倍;在正则表达式匹配情况下,用硬件方式实现的高速网络流采集系统的UDP、TCP吞吐率都达到640 Mb/s,约是用软件方式实现的3倍。结果表明,相对于软件实现方式,硬件实现具有更高的采集性能。
【作者单位】： 长沙理工大学计算机与通信工程学院;中国科学院计算技术研究所;中国科学院信息工程研究所;
【关键词】： NetFPGA-G 高速网络流 分类 采集 正则表达式匹配引擎 精确串匹配
【基金】：国家863计划项目(2012AA012502) 中国科学院战略性先导科技专项基金资助项目(XDA06030602)
【分类号】：TP393.06
【正文快照】： 0引言在网络的研究中,网络流的采集是非常重要的。这种技术可以用于网络分析、管理、计费和特定的应用[1]。随着大数据时代的到来和数据挖掘[2]等新技术的兴起,大量的数据需要被分类、采集、存储处理。例如,从网站的访问量进行网站排名、用户行为分析[3]、将数据分类建立数据

【参考文献】

中国期刊全文数据库 前6条

1 赵喜全;刘兴奎;邵宗有;刘朝辉;窦晓光;赵晓芳;;基于FPGA的TOE网卡设计与实现[J];计算机工程;2011年03期

2 林金;杨波;;基于NetFPGA的网络流量采集器[J];济南大学学报(自然科学版);2011年01期

3 张帆;赵光恒;苏建;;基于IP核的高速数据采集存储系统设计[J];微计算机信息;2007年29期

4 刘小威;陈蜀宇;卢尧;林铭炜;;零拷贝技术在网络分析工具中的应用[J];计算机系统应用;2012年04期

5 王志佳;顾健;;一种改进的自动机压缩算法在深度包检测中的应用[J];信息网络安全;2010年10期

6 邓凯元;;基于Verilog的正则表达式编译器的实现[J];计算机系统应用;2012年02期

【共引文献】

中国期刊全文数据库 前9条

1 王婕;王健;;基于TOE技术的嵌入式以太网接口设计[J];工业仪表与自动化装置;2011年06期

2 马纳吉;胡骁;杨明极;邓媛;;单脉冲动态测量雷达数字信号处理机的设计[J];工业控制计算机;2013年05期

3 刘仰川;巴音贺希格;崔继承;唐玉国;;基于预测与JPEG2000的高光谱图像无损压缩方法[J];激光与红外;2012年04期

4 张墨华;李戈;;基于中间点划分无冲突哈希的高速包处理[J];计算机应用;2012年04期

5 姚铭;应福军;;基于NetFpga的数据包发生器的实现[J];计算机应用与软件;2013年01期

6 王亚;于干;张军;王浩;;PF_RING与NAPI结合的捕包性能优化和仿真[J];计算机工程与应用;2013年08期

7 王可可;杨波;孙涛;陈贞翔;;NetFPGA应用技术研究[J];山东科学;2011年05期

8 胡骁;黄默;张志敏;;毫米波跟踪雷达信号处理机设计[J];微计算机信息;2009年11期

9 陶常勇;陈兴梧;魏永杰;;基于FPGA的激光粒度仪数据采集系统[J];微计算机信息;2009年14期

中国重要会议论文全文数据库 前1条

1 周博;宿绍莹;陈曾平;;基于CPCI总线的宽带雷达数据传输存储系统设计[A];全国第二届信号处理与应用学术会议专刊[C];2008年

中国硕士学位论文全文数据库 前10条

1 林金;FPGA网络开发平台的软硬件协同设计与验证[D];济南大学;2011年

2 左改林;基于USB 2.0协议的多功能IP核的研究与开发[D];广西大学;2008年

3 马萍;基于PCI Express总线高速数据采集系统的设计与实现[D];中国科学院研究生院（空间科学与应用研究中心）;2008年

4 张海青;基于FPGA图像处理系统的关键算法研究及硬件实现[D];重庆大学;2010年

5 张营磊;USB接口软IP CORE代码设计及验证[D];电子科技大学;2012年

6 李舒;基于Linux多核平台的高性能报文采集系统的研究与设计[D];北京邮电大学;2013年

7 夏浩延;基于NetFPGA的以太网列车骨干网列车拓扑发现协议研究与仿真[D];西南交通大学;2013年

8 周召均;基于NetFPGA的列车以太骨干网络底层硬件平台的研究与设计[D];西南交通大学;2013年

9 张斌;Linux平台下高速网络数据捕获的研究与应用[D];华北电力大学;2013年

10 牛晓军;基于PCI Express总线高速数据采集系统的设计[D];重庆大学;2013年

【二级参考文献】

中国期刊全文数据库 前6条

1 任宏;关于TOE技术的发展及概况的研究[J];红外;2005年03期

2 王圣;苏金树;;基于硬件的乱序报文重组算法[J];计算机工程;2008年22期

3 王佰玲,方滨兴,云晓春;零拷贝报文捕获平台的研究与实现[J];计算机学报;2005年01期

4 徐乾;鄂跃鹏;葛敬国;钱华林;;深度包检测中一种高效的正则表达式压缩算法[J];软件学报;2009年08期

5 笱程成;赵荣彩;邰铭;张铮;南煜;;高负载网络下线速包捕获接口的设计与实现[J];计算机工程与设计;2010年10期

6 裴喜龙;童莉;;基于PCI总线的高速数据采集卡系统设计与实现[J];微计算机信息;2006年19期

【相似文献】

中国期刊全文数据库 前10条

1 卫俊平,陈明宇,余智华,郭莉;高速网络流产生系统[J];计算机应用;2003年06期

2 武佳宁;;基于序列特征的网络流分类方法研究[J];电子设计工程;2013年23期

3 张峰,雷振明;高速网络流测量及模型研究[J];计算机工程与应用;2004年17期

4 阿呆;;Netronome:为亚太区量身定制解决方案[J];通讯世界;2011年04期

5 龙熙华;韩大中;;线性多商品网络流算法与多煤种调运优化[J];西安矿业学院学报;1987年03期

6 孙旺弟,徐和杰;网络流理论在配水系统压力优化计算中的应用[J];镇江船舶学院学报;1990年03期

7 高峰修,黄根勋,张利民;基于网络流上的秘密共享体制[J];通信技术;2002年04期

8 叶麟;张宏莉;何慧;;基于主成分分析的网络流相关性研究[J];计算机工程;2007年12期

9 季海波,杨蓓,沈廉;关于二元网络流算法的一个推广[J];中国科学技术大学学报;1998年03期

10 王可定，封树标;多源点网络流图的计算机解法[J];系统工程理论与实践;1994年08期

中国重要报纸全文数据库 前2条

1 本报记者 龚保华;让电视网络流光溢彩[N];吉林日报;2013年

2 ;赛门铁克ManHunt 网络猎手[N];计算机世界;2003年

中国硕士学位论文全文数据库 前10条

1 戚玉娥;基于网络流的流量异常检测研究[D];山东师范大学;2009年

2 樊炼;基于消息统计值的网络流分类研究[D];华中科技大学;2008年

3 叶麟;基于网络流相关性的大规模网络异常发现技术研究[D];哈尔滨工业大学;2006年

4 张洛什;基于Cavium平台的网络流分类系统的设计与实现[D];哈尔滨理工大学;2011年

5 赵伟;基于网络流特征的P2P网络流量分类文学研究[D];西安电子科技大学;2013年

6 马力;骨干通信网络环境下的流量异常检测与分类[D];电子科技大学;2012年

7 柏明国;CVRP和分配网络流算法研究[D];山东科技大学;2003年

8 陈欣;基于NetFlow和sFlow网络流融合的异常检测方法研究[D];哈尔滨工程大学;2013年

9 刘帅;基于IPv6 NetStream的网络流监控系统的设计与实现[D];西安电子科技大学;2014年

10 刘青;PF_RING研究及其在网络流高速采集中的应用[D];昆明理工大学;2009年

，

本文编号：766578