基于溯源数据与流数据的IP属性分析

发布时间：2020-05-31 04:23

【摘要】：随着互联网的迅速普及,相关技术的飞速发展,互联网用户日益增多。虚拟网络很好的融入了人们的生活。因此,平均每天都会有海量的互联网流数据产生。当许多人的生活的行为都依赖于互联网时,安全问题就成了重中之重。在现实生活中,身份证可以唯一确定一个人,在互联网中,通过IP地址可以追溯到相关设备以及用户的信息。因此,在大量的网络数据中对IP用户产生的互联网行为进行统计分析,并且对互联网中的IP用户进行可识别,可追踪甚至进行身份标定是具有重要意义的。本文提出了基于溯源数据与流数据的IP属性分析,在采集并解析流数据的基础上,从IP的活跃信息,基本信息,用户信息三个方面对IP进行分析。首先采集流数据,并进行解析,提取,存储。在IP活跃信息分析方面,对IP出入度、端口使用情况等信息进行统计分析;通过判断IP用户的每天的访问频次是否超过平均访问频次+N倍的标准差来判断流量是否异常;利用活跃地址检测算法对IP活跃地址进行检测,并针对服务IP提取出相关域名信息。在IP基本信息分析方面,完成IP类型划分,区分出服务IP与用户IP;对于服务IP,使用朴素贝叶斯方法确定IP服务类型;对于用户IP,完成NAT分析,通过Cookie ID实现对NAT最大承载量的估算;利用已有的IP地址库,重新维护一份IP地址库,并统计分析出用户IP经常访问的地区分布以及经常被访问的地区分布;通过维护的IP地址库完成对溯源系统产生的溯源数据进行核验。在IP用户信息分析方面,对网络日志进行预处理,并通过爬虫获取用户个人信息。最后,对系统的具体功能进行了功能测试和性能测试,在测试过程中,对出现的bug进行了修改和完善,并进行了适当的调优,基本满足了使用的要求,可以在实际环境中进行运行。
【图文】：

哈尔滨工业大学工程硕士学位论文对于分类所需的训练集，，通过系统统计出一定数量的 IP 特征，提取其中频率比较高的 IP，通过人工标定的方式得出训练集。对于 IP 特征提取，基于特征知识库，例如，芒果 TV 的特征字符串是“hunantv”人工标定时借助 wireshark 抓包工具，实例如下图 3-14 所示：

图 4-3 流数据处理程序流程图.2 IP 活跃信息分析模块的实现IP 活跃信息分析模块的实现包括 IP 流量分析子模块的实现和 IP 活跃判模块的实现。本节将通过程序流程图描述流量统计分析、异常流量检测，判定、域名信息提取这几个功能的实现。2.1 IP 流量分析子模块的实现（1）流量统计分析流量统计分析需要统计出流数据中 IP 出度，入度，关联 IP 的数目和关 IP 列表，IP 源端口使用数量和详情，IP 目的端口使用情况和详情，IP 链这些信息。在统计分析之前，需要编写 shell 脚本，将所需流数据传输到服务器上，传输完毕生成.ok 文件。Java 程序检测到.ok 文件才会执行。流量统计程序流程图如下图 4-4 所示：在某一时间段内，初始化 map， IP，值是 IPInfo 对象，即最终统计结果。然后读取流数据文件，从每一条
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP393.08

【参考文献】

相关期刊论文 前9条

1 李瑞e

本文编号：2689280