面向海量NetFlow数据的存储和查询处理方法研究

发布时间：2017-07-28 14:05

  本文关键词：面向海量NetFlow数据的存储和查询处理方法研究

  更多相关文章： NetFlow 多维属性聚簇存储(MACS)模型 实时数据存储 超多面体

【摘要】：针对全国骨干网高速海量Net Flow数据到来速度快、数据量大以及对所存数据进行频繁多维查询操作的特点,提出了一种多维属性聚簇存储(MACS)模型。该模型根据实际应用环境中查询的特点对数据进行空间分片,以并行加流水的方式对数据进行存储。此外,为Net Flow提出了一种超多面体的查询模式。真实环境实验结果表明,运用MACS模型实现的系统单点数据实时存储速度达到270万条/s,远远快于其他的数据分析系统,并且多维属性查询的速度优于Hive和Impala。
【作者单位】： 中国科学院计算技术研究所计算机应用研究中心;中国科学院大学;中国科学院信息工程研究所;中国信息安全测评中心;
【关键词】： NetFlow 多维属性聚簇存储(MACS)模型 实时数据存储 超多面体
【基金】：国家科技支撑计划(2012BAH46B03) 国家自然科学基金(61402473) 核高基(2013ZX01039-002-001-001) 中国科学院先导专项(XDA06030200)资助项目
【分类号】：TP393.04
【正文快照】： 0引言伴随着信息技术和网络的快速发展,网络安全形势日益严峻[1,2]。Net Flow[3]作为收集和监控网络流数据的一种网络协议,被广泛用于网络流量统计、拒绝服务监控、入侵检测等方面[4-7],具有很高的应用价值和实际意义。目前,国内外在Net Flow数据的存储和分析方面的工作主要面，

本文编号：584390