基于数据挖掘的网络加密流量分类研究

发布时间：2020-04-17 13:53

【摘要】：随着互联网的高速发展,网络通信数据保护需求的不断提高,各种各样的加密需求日新月异。虽然,加密技术可以提供隐藏身份保障数据安全,但也使出于网络安全管理的网络数据包检测变得较之前更加困难。关于这项问题已有许多的研究,并且提出了多种不同种类的解决方法。通常部署的网络流量识别技术基于简单网络数据包的载荷,端口,IP和网络流量的统计特征。目前,基于网络加密流量统计特征的机器学习识别方法应用较为广泛,但是基于有效特征的网络加密流量识别方法的难点在于如何从加密流量中寻找到有效且关联性较强的特征,特征的选择直接影响机器学习模型的分类效果。因此,网络加密流量中对特征的学习和挖掘是非常重要的。本文在对以往相关研究成果进行分析的基础上,深入分析本文中用到的匿名软件的运行机制,将其运行过程与SOCKS5协议相结合,基于数据挖掘从不同角度挖掘关联性较强的加密流量特征,多层次的对特征数据进行处理,进而提升机器学习模型的分类效果。首先,提出了一种基于Isolation Forest和XGBoost的网络加密流量识别方法。将采集到的网络加密流量和正常流量分流提取特征后共同利用Isolation Forest进行降噪处理,减少噪声点对特征数据的影响,之后利用机器学习模型XGBoost对其进行网络加密流量的识别。其次,提出了一种基于Spark并行加速DBSCAN和XGBoost的网络加密流量分类方法。该方法的目的是挖掘关联性更强的加密流量特征,由于DBSCAN聚类需要两两计算样本间的相对距离,时间消耗大,所以,本文利用Spark多线程并行化加速聚类的过程。在原有网络加密流量特征种类的基础上,深入分析匿名代理,对其客户端和服务器端双向通信交互中挖掘有效特征,进而多方面组合不同的特征数据。实验结果表明,不同的特征类型,对机器学习模型的分类效果影响较大。本文将数据挖掘和机器学习模型相结合并应用到网络加密流量识别的研究中,对匿名代理深入分析,多方面和多维度的挖掘有效的加密流量特征和数据处理方法并结合真实的高速网络环境,对加密流量的准确识别做出贡献。
【图文】：

背景流量,流量,数据

a) 加密流量 b) 背景流量图 3-1 加密流量和背景流量数据Fig. 3-1 Encrypted traffic and background traffic data3.3.5 识别流程基于 Isolation Forest 和 XGBoost 的网络加密流量识别方法的具体识别流程如下：1．利用匿名代理软件进行加密流量采集和不使用代理软件对正常流量进行捕获，然后将采集到的数据保存到 PCAP 文件中；2．利用 Libnids 网络入侵检测开发包对 PCAP 流量文件进行解析，解析的原则是通过四元组相同对网络流量进行分流(这里无论是加密流量还是正常流量都进行分流操作)，分流的目的是保障特征提取的基本信息都来自一组完整的TCP 三次握手成功之后产生的交互数据；3．分流完成之后，需要提取每条同一流中网络数据包的特征，特征提取的基本流程是解析以太网协议首部，IP 首部，TCP 首部等协议字段，考虑到匿名代理需要加密载荷数据，相比较正常流量的转发不需要加密过程，匿名代理转

噪声数,模型性能,噪声

哈尔滨理工大学工学硕士学位论文为 12987，也即是提取到特征的加密流量和背景流量的总流数。不同噪声对最终 XGBoost 分类模型识别加密流量的效果的影响如表 3-2 所示，，如所示不同数量噪声对 XGBoost 分类模型性能的影响。表 3-2 噪声个数分布影响Table 3-2 Effect of the number of noise噪声个数清洗完成总样本数准确率% 召回率%0 12987 93.67 91.98265 12722 95.83 93.39675 12311 96.97 94.351306 11681 97.30 95.062726 10261 96.30 93.93
【学位授予单位】：哈尔滨理工大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP311.13;TP393.08

【相似文献】