基于Spark和N-gram的HTTP流量检测平台的设计与实现

发布时间：2020-08-14 14:11

【摘要】：近年来,互联网技术的普及,给人们的工作和生活带来了极大的便利。然而,伴随着互联网的发展,网络安全事件也频频爆发,危害着互联网用户的隐私和财产安全。使用机器学习模型对HTTP网络传输流量进行安全检测可以有效识别攻击行为,保障用户的隐私和财产安全。然而,基于机器学习模型的流量检测方法也面临着流量特征提取困难、难以检测未知攻击和难以检测大规模网络流量数据等问题。本文通过对基于机器学习模型的流量检测方法中存在的问题进行研究,提出了基于增加了字符标志位的N-gram和Word2vec相结合的流量特征提取方法,该方法可以有效的对流量数据进行特征提取,解决了流量特征提取困难的问题。本文设计了基于向量空间距离的相似攻击聚类算法,将该算法应用于实际流量聚类,通过对聚类结果的人工分析,验证了该算法的有效性,解决了基于机器学习模型的流量检测方法中难以检测未知攻击方式的问题。结合以上的特征提取方法和聚类算法,本文设计并实现了HTTP流量检测平台。通过该平台的实际环境搭建、平台部署和平台功能测试,验证了平台的准确性和有效性。
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP393.08;TP181
【图文】：

设计图,系统整体,设计图,模块

出的针对性修改。详细对比了数据存储格式中行式存储和列式存储中的优缺点，逡逑并进行了各个数据库存储表结构格式的设计。逡逑３．１系统整体结构设计逡逑ＨＴＴＰ恶意流量检测平台主要结合机器学习算法在大规模网络流量中对逡逑ＨＴＴＰ恶意流量进行识别检测。本平台主要由数据处理模块、数据存储模块、攻逡逑击检测模块、任务调度模块四个模块组成。其中数据处理模块负责镜像流量数据逡逑的预处理、特征提取和特征转化，数据存储模块主要功能为对预处理结束后的网逡逑络流量数据、检测模型判定过的标签数据、检测模型使用的训练数据、报表数据逡逑等的存储，攻击检测模块主要功能为海量数据中网络攻击的检测以及相似攻击方逡逑式的聚类，任务调度模块主要功能为对预处理任务、分类任务、聚类任务、存储逡逑任务等进行协调调度。本章主要对数据处理模块、数据存储模块和任务调度模块逡逑进行详细阐述，攻击检测模块将在第四章进行详细阐述。逡逑业务数据逦数据处理模块逦数据存储模块逦攻击检测模块逡逑￣

效果图,报文,效果图,流量分析

Ｐｙｓｈａｒｋ这一网络流量分析包对Ｐｃａｐ数据文件进行解析，将原始二进制的Ｐｃａｐ逡逑文件转化为具有ＨＴＴＰ各个字段内容的以逗号分隔的文本文件，以便后续进一步逡逑分析。具体的解析后的文本数据效果如图３－２所示。逡逑ｉｄ逦ｕｒｌ邋ｐｏｓｔ邋ｓｒｃ逦ｄｃｓ逦ｓｒｃｐｏｎ邋ｄｃｓｐｏｒｔ邋ｔｉｍｅ逦ｈｏｓｔ逦ｒｃｓ＿ｂｏｄｙ逡逑１１０２＿７＿２８／ｂｌ逦ａｓｓｄ逦１９２．１６８．０．１逦１９２．１６８．１．１逦１００２９逦８０邋２０１７－ｉｌ－０２＿Ｃｈｏｓｔ＝ａｄ３．ｃｎ逦ｂｏｄｙｌ＝逡逑１１０２＿７＿２８／ｂ２逦ａｓｓｄ逦１９２．１６８．０２逦１９１１６８．１．２逦１００３０逦８０邋２０１７－ｌｌ－０２＿Ｃｈｏｓｔ＝ａｄ．４．ｃｎ逦ｂｏｄｙ２＝逡逑１１０２＿７＿２８／ｂ３逦ａｓｓｄ逦１９２．１６８．０．３逦１９２．１６８．１．３逦１００３１逦８０逦２０１７－１邋ｌ－０２＿Ｃｈｏｓｔ＝ａｄ．５．ｃｎ逦ｂｏｄｙ３＝逡逑１１０２＿７＿２８／ｂ４逦ａｓｓｄ逦１９２．１６８．０．４逦１９２．１６８．１．４逦１００３２逦８０逦２０１７－１邋ｌ－０２＿Ｃｈｏｓｔ＝ａｄ．６．ｃｎ逦ｂｏｄｙ４＝逡逑１１０２＿７＿２８／ｂ５逦ａｓｓｄ逦１９１１６８．０．５逦１９２．１６８．１．５逦１００３３逦８０逦２０１７－１邋ｌ－０２＿Ｃｈｏｓｔ＝ａｄ．７．ｃｎ逦ｂｏｄｙ５＝逡逑１１０２＿７＿

训练集,自然语言,字段,网络流量

４．２．１网络攻击检测模型的特征提取逡逑网络攻击数据集分为三个字段，分别是ＵＲＬ字段、ＰＯＳＴ字段以及标签字逡逑段，部分训练集如图４－１所示。其中ＵＲＬ字段中包含一个ＨＴＴＰ网络链接发起逡逑方的提交路径和提交的ＧＥＴ请求数据，ＰＯＳＴ字段包含ＨＴＴＰ网络链接发起方逡逑提交的ＰＯＳＴ的请求数据

【相似文献】