一种基于Hadoop平台CloudSVM的网络流量分类方法

发布时间：2021-06-27 17:08

　　大规模的netflow训练数据集是构建高质量、高稳定网络流量分类器的必然要求。但随着网络流特征维数的提高和数据集规模的扩大,无论是网络流的分析处理还是基于支持向量机（SVM）的分类器模型的训练,都无法在有效的时间内得到有效的处理结果。本文基于Hadoop云计算平台,采用MapReduce技术对SVM网络流量分类器进行分布式学习和训练,构建CloudSVM网络流量分类器。通过对来自校园网出口镜像的近2T的大规模网络流量的跟踪文件的分布式存储和处理,对抽取的样本数据集进行分类,实验验证了基于Hadoop平台分布式存储和并行处理大规模网络数据集的高效率性,也验证了CloudSVM分类器在不降低分类准确度的情况下可以快速收敛到最佳,并随着大规模网络流样本的增加,SVM分类器训练的时间趋近平稳。 

【文章来源】：太赫兹科学与电子信息学报. 2020,18(05)北大核心

【文章页数】：6 页

【参考文献】：
期刊论文
[1]基于支持向量机网络流量识别的研究[J]. 邓绯.  兰州文理学院学报(自然科学版). 2019(02)
[2]基于传输层特征和统计特征的P2P流量识别[J]. 莫遥,梁铸,吴波,陈翔.  太赫兹科学与电子信息学报. 2019(01)
[3]网络背景流量的分类与识别研究综述[J]. 邹腾宽,汪钰颖,吴承荣.  计算机应用. 2019(03)
[4]基于并行DAGSVM的网络流量分类方法[J]. 梁文国,王勇,俸皓.  计算机工程与设计. 2018(02)
[5]Hadoop平台分布式SVM算法分类研究[J]. 满蔚仕,吉元元.  计算机系统应用. 2017(08)
[6]基于Hadoop平台的分布式SVM参数寻优[J]. 吴云蔚,宁芊.  计算机工程与科学. 2017(06)
[7]基于多层MapReduce的混合网络流量分类特征选择方法[J]. 王勇,龙也,陶晓玲,韦毅.  桂林电子科技大学学报. 2016(02)
[8]一种基于SVM的P2P网络流量分类方法[J]. 邓河,阳爱民,刘永定.  计算机工程与应用. 2008(14)
[9]支持向量机训练算法及其应用[J]. 王平,毛剑琴.  信息与电子工程. 2005(04)

硕士论文
[1]基于Hadoop和HBase的网络流量分析系统设计与实现[D]. 董欣.大连理工大学 2018
[2]基于Hadoop的报文数据挖掘研究与应用[D]. 曹佳豪.武汉邮电科学研究院 2018
[3]基于机器学习方法的网络流量分类研究[D]. 邓河.湖南工业大学 2009



本文编号：3253254