加密网络流量分析关键技术研究与开发

发布时间：2020-09-12 11:04

　　 随着加密技术在网络空间中迅速普及,其产生的加密网络流量作为网络信息的载体也处于急速增长中。加密技术虽然通过密文通信保护了网络信息安全传输,但同时也让攻击者可以利用加密技术的隐蔽性来逃避传统基于明文网络流量分析的安全检测手段,从而带来了不可忽视的网络安全威胁。因此如何有效地对加密网络流量进行分析成为了一个亟待解决的问题。本文结合异常流量识别和应用流量识别两类场景对加密网络流量分析关键技术进行研究,且本文首次将LightGBM算法应用于其中并取得良好效果。基于对异常流量识别方法和应用流量识别方法的研究,提出了加密网络流量识别方案MGST-ETA,该方案不仅可以高精度、高效地识别异常流量和应用流量,而且还能在识别过程中保护用户隐私。针对异常流量识别,本文首先在数据包负载粒度、网络流行为粒度和会话连接信息粒度上对异常流量的数据特性进行分析;然后基于LightGBM算法提出了针对异常和正常流量的二分类器以及恶意软件族多分类器。通过多次实验确定了具备良好识别精度的流量粒度特征集。接着通过对比实验验证了LightGBM在算法层面上可以有效抵抗非平衡数据集带来的分类器查准率失衡问题。同时,本文在数据层面上使用Borderline SMOTE-2算法对非平衡数据集进行优化,优化后平均查准率提升了6.16%。针对应用流量识别,本文首先对不同应用类型的网络流量在时域和频域上进行流量特征分析,并结合伴随流量特性分析提取了混合粒度时空特征集。然后提出了LightGBM-Boruta特征选择算法和基于LightGBM的多层次分类器算法。实验结果表明,该分类器算法在公开的流量数据集上取得了与当前最优方法相当的识别精度,其平均查准率达到了91%以上,并且该方法还可以精细化识别应用流量中的未知应用类型和具体应用程序类型。基于前文的研究内容,提出了基于多粒度时空特征的加密网络流量综合识别方案MGST-ETA,方案中设计并实现了基于镜像交换机的流量采集系统、基于多线程并行架构的预处理工具以及基于上述两种分类器算法的流量识别服务,提供了流量分析结果可视化功能。最后,在校园网环境中进行了方案部署与测试,测试结果表明,本文的方案在异常识别和应用识别任务中具有高检出率、低误报率和低漏报率的表现;与典型的加密网络流量分析方案相比,本文方案具有通信会话早期检测、细粒度识别等特点。
【学位单位】：西安电子科技大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP393.06
【部分图文】：

该攻击在网络空间中如野火燎原之势传播。图 1.1 显示了 2016 年 11 月至 2017 年 10月之间使用加密网络通信手段的恶意二进制文件数量占总量的变化趋势。图1.1 恶意二进制文件总量趋势图

西安电子科技大学硕士学位论文28图3.6 不同流量粒度特征集在 I 类实验中的对比图3.7展示了分类器模型使用多粒度和单粒度特征集进行训练之后对不同恶意软件族类别进行识别的实验结果。从图中可知，使用多粒度特征集的分类器模型对 8 种恶意软件族流量进行识别的精度都要高于其它单粒度特征集，最多相差 0.19，只有Yakes 和 Artemis 软件族的识别精度差值保持在 0.03 以内。对于多分类的平均查准率指标，多粒度特征集的平均查准率为 0.88，会话连接信息粒度特征集的平均查准率为0.84，网络流行为粒度特征集上的平均查准率为 0.71，而数据包负载粒度只有 0.62。由此可以说明多粒度流量特征集在识别不同类型恶意软件族流量时区分度更高。图3.7 不同流量粒度特征集在 II 类实验中的对比综合两类实验结果分析

28图3.6 不同流量粒度特征集在 I 类实验中的对比图3.7展示了分类器模型使用多粒度和单粒度特征集进行训练之后对不同恶意软件族类别进行识别的实验结果。从图中可知，使用多粒度特征集的分类器模型对 8 种恶意软件族流量进行识别的精度都要高于其它单粒度特征集，最多相差 0.19，只有Yakes 和 Artemis 软件族的识别精度差值保持在 0.03 以内。对于多分类的平均查准率指标，多粒度特征集的平均查准率为 0.88，会话连接信息粒度特征集的平均查准率为0.84，网络流行为粒度特征集上的平均查准率为 0.71，而数据包负载粒度只有 0.62。由此可以说明多粒度流量特征集在识别不同类型恶意软件族流量时区分度更高。图3.7 不同流量粒度特征集在 II 类实验中的对比综合两类实验结果分析

【相似文献】

相关期刊论文 前10条

1 叶铭;黄林;陈刚;;油田网络流量分析技术及应用实践初探[J];信息系统工程;2019年06期

2 徐明;杨雪;章坚武;;移动设备网络流量分析技术综述[J];电信科学;2018年04期

3 雷鸣;张国辉;高晶;;高校校园网网络流量分析与控制[J];科技资讯;2013年14期

4 庞玲;;网络流量分析多机负载均衡系统设计[J];软件;2012年05期

5 江萍萍;;网络流量分析系统的设计研究[J];科技风;2012年19期

6 王宇;;网络流量分析技术及其应用[J];科技创业月刊;2010年03期

7 关天柱;;网络流量分析系统的设计与实现[J];信息与电脑(理论版);2010年08期

8 潘亮;张勇;;网络流量分析系统技术研究与实现[J];科技资讯;2008年01期

9 谭旺;;人民银行省级业务网络流量分析研究[J];中国金融电脑;2017年02期

10 陈艳;陈继军;;基于网络流量模型方法的网络流量分析研究[J];华东电力;2010年08期

相关会议论文 前6条

1 刘平;王健;;校园网网络流量分析与控制[A];全国第20届计算机技术与应用学术会议（CACIS·2009）暨全国第1届安全关键技术与应用学术会议论文集（上册）[C];2009年

2 许文婧;王丽婷;;通过网络流量分析提升网络安全管理水平[A];2009电力行业信息化年会论文集[C];2009年

3 李祉岐;曹明明;刘晓蕾;;基于业务分治安全域防护方案的研究与设计[A];2016电力行业信息化年会论文集[C];2016年

4 万里;王明生;沈志勇;林东岱;;基于序贯模式挖掘的宏观网络流量异常检测[A];全国网络与信息安全技术研讨会论文集（上册）[C];2007年

5 黄昭文;;5G网络的端到端客户感知评估方法[A];面向5G的LTE网络创新研讨会（2016）论文集[C];2016年

6 陈宁;王桂娟;徐同阁;;基于Netflow的网络流量分析系统的研究与实现[A];2006全国复杂网络学术会议论文集[C];2006年

相关重要报纸文章 前10条

1 华为技术有限公司网络营销网管产品部 张威;Netstream 精细化网络流量分析利器[N];通信产业报;2006年

2 本报记者 逄丹;让网络流量“可视、可评、可预测”[N];通信产业报;2012年

3 《网络世界》记者 李夏艳;远程亦可见[N];网络世界;2012年

4 ;东软NTARS:网络流量尽在掌控[N];中国计算机报;2009年

5 李勇;构建全网安全核心[N];中国计算机报;2003年

6 本报记者 姚春鸽;让流量可视、可评、可预测[N];人民邮电;2012年

7 东软网络安全产品营销中心副总经理 李青山;流量安全不能雾里看花[N];网络世界;2008年

8 本报记者 童铭;从根保质量[N];中国计算机报;2001年

9 本报记者 邹大斌;WAF因云而变[N];计算机世界;2014年

10 本报记者 郭涛;SDN落地需要方法论[N];中国计算机报;2014年

相关博士学位论文 前6条

1 林平;网络流量的离线分析[D];北京邮电大学;2010年

2 董超;基于网络流量监测的移动互联网特征研究[D];北京邮电大学;2013年

3 郭敏杰;基于云计算的海量网络流量数据分析处理及关键算法研究[D];北京邮电大学;2014年

4 夏正敏;基于分形的网络流量分析及异常检测技术研究[D];上海交通大学;2012年

5 常建龙;数据流聚类及电信数据流管理[D];复旦大学;2008年

6 李立;高突发性自相似网络业务流量理论及建模分析研究[D];华中科技大学;2008年

相关硕士学位论文 前10条

1 袁钦献;加密网络流量分析关键技术研究与开发[D];西安电子科技大学;2019年

2 路琪;高速网络流量分析处理技术研究[D];国防科技大学;2017年

3 罗齐;基于分布式架构的网络流量分析系统设计与实现[D];郑州大学;2019年

4 王锦程;基于网络流量分析的人物画像研究与实现[D];上海交通大学;2017年

5 花逸;基于NetFlow的网络流量分析与分类研究[D];郑州大学;2018年

6 杨泷;网络流量分析系统的设计与实现[D];吉林大学;2018年

7 卓勤政;基于深度学习的网络流量分析研究[D];南京理工大学;2018年

8 李文林;基于深度协议检测和协议会话关联的网络流量分析方法研究[D];国防科学技术大学;2016年

9 董欣;基于Hadoop和HBase的网络流量分析系统设计与实现[D];大连理工大学;2018年

10 魏家辉;网络流量分析的研究与实现[D];华北电力大学(北京);2018年

本文编号：2817548