网络流量异常检测中的维数约简研究
发布时间：2021-03-20 08:14
对包含大流量数据的高维度网络进行异常检测,必须加入维数约简处理以减轻系统在传输和存储方面的压力。介绍高速网络环境下网络流量异常检测过程以及维数约简方式,阐述流量数据常用特征和维数约简技术研究的最新进展。针对网络流量特征选择和流量特征提取2种特征降维方式,对现有算法进行归纳分类,分别描述算法原理及优缺点。此外,给出维数约简常用的数据集和评价指标,分析网络流量异常检测中维数约简技术研究面临的挑战,并对未来发展方向进行展望。
【文章来源】：计算机工程. 2020,46(02)北大核心CSCD
【文章页数】：10 页
【部分图文】：
高速网络环境下的网络流量异常检测过程
维数约简又称为特征降维,网络流量维数约简一般包括网络流量特征选择和网络流量特征提取2种方式,两者都是为了从原始网络流量特征中找出最有效的特征[7],针对高维灾难都可以达到降维的目的,但是两者有所不同。网络流量特征选择是依据一定的规则从已有的网络流量特征中选取出部分特征来表示原始网络流量数据,如图2(a)所示。网络流量特征选择保留了训练样本的原始物理意义,但是当网络流量数据间相似性很强时,检测冗余信息对计算要求非常高。网络流量特征提取则是按照一定的规则将原始网络流量特征空间变换成一个维数更小的空间,是使用数学方法对某些特征进行融合产生了新的特征,新的特征只具有数学含义,难以找到其现实意义,如图2(b)所示。网络流量特征提取是在网络流量特征选择的基础上对网络流量数据集做进一步简化,去除剩余特征的冗余值[8-9]。网络流量维数约简可以使网络流量数据集更容易使用,减少数据存储并降低算法的计算开销,同时提高网络异常检测性能。为生成可靠的IDS模型,维数约简被认为是提高网络异常检测运算效率和发现数据模式的一项重要任务。
网络流量异常检测中用到的网络流量特征大致可分为3类,即基于报文头部、基于网络流和基于连接图的网络流量特征[10],如图3所示,其中,基于报文头部的网络流量特征一般包含IP地址、端口地址等;基于网络流的网络流量特征主要是使用与网络流量相关的统计数据作为特征,即使用网络流的统计特征来表示网络流量,如包长、包到达间隔等,可进一步分为单流特征和多流特征;基于连接图的网络流量特征是图特征与网络流量特征相结合的网络流量特征。网络流可分为单向流和双向流,网络流量特征也可分为单流特征和双流特征。单流特征即单个流的特征,只使用组成该网络流的所有报文集合的统计特征作为该网络流量的特征,通常包括包到达时间、报文大小、报文大小的均值/方差、网络流所包含的数据报文数量等。多流特征是针对具有某些相同特性的多条网络流量共同形成的一些统计特征,可在单流特征基础上表示出更多流量相关的信息。在网络流量异常检测过程中提取多流特征,一般先选择一个提取对象,如将主机地址作为对象的网络流量,或将网络段作为提取对象的网络流量等[10]。
【参考文献】：
期刊论文
[1]基于XGBoost的特征选择算法[J]. 李占山,刘兆赓. 通信学报. 2019(10)
[2]网络攻击检测中流量数据抽样技术研究[J]. 陈良臣,刘宝旭,高曙. 信息网络安全. 2019(08)
[3]网络加密流量识别研究进展及发展趋势[J]. 陈良臣,高曙,刘宝旭,卢志刚. 信息网络安全. 2019(03)
[4]基于随机森林的流量多特征提取与分类研究[J]. 韦泽鲲,夏靖波,张晓燕,付凯,申健. 传感器与微系统. 2016(12)
[5]一种基于统计频率的网络流量特征选择方法[J]. 孙兴斌,芮赟. 小型微型计算机系统. 2016(11)
[6]基于主元分析和互信息维数约简策略的网络入侵异常检测[J]. 汤健,孙春来,毛克峰,贾美英. 信息网络安全. 2015(09)
博士论文
[1]窃密型复杂网络攻击建模与识别方法研究[D]. 牛伟纳.电子科技大学 2018
[2]基于SVM的网络流量特征降维与分类方法研究[D]. 曹杰.吉林大学 2017
硕士论文
[1]基于改进的字典学习的网络入侵检测方法研究[D]. 尹秀.南京邮电大学 2018
[2]网络流量分类中特征工程的研究[D]. 黄引翔.南京邮电大学 2017
[3]基于半监督学习的网络业务流量识别方法研究[D]. 周雅.东南大学 2017
[4]基于降维的骨干网流量异常检测研究[D]. 罗玲.中国科学技术大学 2015
本文编号：3090665
【文章来源】：计算机工程. 2020,46(02)北大核心CSCD
【文章页数】：10 页
【部分图文】：
高速网络环境下的网络流量异常检测过程
维数约简又称为特征降维,网络流量维数约简一般包括网络流量特征选择和网络流量特征提取2种方式,两者都是为了从原始网络流量特征中找出最有效的特征[7],针对高维灾难都可以达到降维的目的,但是两者有所不同。网络流量特征选择是依据一定的规则从已有的网络流量特征中选取出部分特征来表示原始网络流量数据,如图2(a)所示。网络流量特征选择保留了训练样本的原始物理意义,但是当网络流量数据间相似性很强时,检测冗余信息对计算要求非常高。网络流量特征提取则是按照一定的规则将原始网络流量特征空间变换成一个维数更小的空间,是使用数学方法对某些特征进行融合产生了新的特征,新的特征只具有数学含义,难以找到其现实意义,如图2(b)所示。网络流量特征提取是在网络流量特征选择的基础上对网络流量数据集做进一步简化,去除剩余特征的冗余值[8-9]。网络流量维数约简可以使网络流量数据集更容易使用,减少数据存储并降低算法的计算开销,同时提高网络异常检测性能。为生成可靠的IDS模型,维数约简被认为是提高网络异常检测运算效率和发现数据模式的一项重要任务。
网络流量异常检测中用到的网络流量特征大致可分为3类,即基于报文头部、基于网络流和基于连接图的网络流量特征[10],如图3所示,其中,基于报文头部的网络流量特征一般包含IP地址、端口地址等;基于网络流的网络流量特征主要是使用与网络流量相关的统计数据作为特征,即使用网络流的统计特征来表示网络流量,如包长、包到达间隔等,可进一步分为单流特征和多流特征;基于连接图的网络流量特征是图特征与网络流量特征相结合的网络流量特征。网络流可分为单向流和双向流,网络流量特征也可分为单流特征和双流特征。单流特征即单个流的特征,只使用组成该网络流的所有报文集合的统计特征作为该网络流量的特征,通常包括包到达时间、报文大小、报文大小的均值/方差、网络流所包含的数据报文数量等。多流特征是针对具有某些相同特性的多条网络流量共同形成的一些统计特征,可在单流特征基础上表示出更多流量相关的信息。在网络流量异常检测过程中提取多流特征,一般先选择一个提取对象,如将主机地址作为对象的网络流量,或将网络段作为提取对象的网络流量等[10]。
【参考文献】：
期刊论文
[1]基于XGBoost的特征选择算法[J]. 李占山,刘兆赓. 通信学报. 2019(10)
[2]网络攻击检测中流量数据抽样技术研究[J]. 陈良臣,刘宝旭,高曙. 信息网络安全. 2019(08)
[3]网络加密流量识别研究进展及发展趋势[J]. 陈良臣,高曙,刘宝旭,卢志刚. 信息网络安全. 2019(03)
[4]基于随机森林的流量多特征提取与分类研究[J]. 韦泽鲲,夏靖波,张晓燕,付凯,申健. 传感器与微系统. 2016(12)
[5]一种基于统计频率的网络流量特征选择方法[J]. 孙兴斌,芮赟. 小型微型计算机系统. 2016(11)
[6]基于主元分析和互信息维数约简策略的网络入侵异常检测[J]. 汤健,孙春来,毛克峰,贾美英. 信息网络安全. 2015(09)
博士论文
[1]窃密型复杂网络攻击建模与识别方法研究[D]. 牛伟纳.电子科技大学 2018
[2]基于SVM的网络流量特征降维与分类方法研究[D]. 曹杰.吉林大学 2017
硕士论文
[1]基于改进的字典学习的网络入侵检测方法研究[D]. 尹秀.南京邮电大学 2018
[2]网络流量分类中特征工程的研究[D]. 黄引翔.南京邮电大学 2017
[3]基于半监督学习的网络业务流量识别方法研究[D]. 周雅.东南大学 2017
[4]基于降维的骨干网流量异常检测研究[D]. 罗玲.中国科学技术大学 2015
本文编号：3090665
本文链接：https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/3090665.html
