基于机器学习的暗网威胁情报分析

发布时间：2024-03-12 01:50

　　互联网以前所未有的广度和便利性促进了全世界人类之间的互动,但是,暗网的出现以及日趋成熟,严重威胁了我们的社会和公共安全。因此,研究如何探索暗网的网络空间具有重要的意义。暗网的域名不同于明网域名,具有不公开,存在时间较短,更新换代快的特点,因此暗网域名以及暗网市场识别较为困难,很难获取威胁情报以及复杂的内容分布情况,暗网的分析构成不明确。因此本文基于以上这些问题,对暗网进行数据收集以及内容分析。所设计的系统包括以下几个部分:(1)针对暗网数据问题,本文首先对隐藏服务内容进行爬取,其次对爬取到的内容进行分类,利用一些暗网爬虫策略,采用了Scrapy框架进行爬取,最后对暗网数据爬取进行了设计与实现。(2)针对识别暗网市场内卖方困难的问题,本文设计了暗网市场分析模型。首先进行数据源识别,采用了关键字、雪球以及Deep Weep隐藏服务方法;然后进行数据收集,通过收集的数据进行资产分析,从而能实现主动获取网络威胁情报。(3)针对域名地址收集困难的问题,本文设计了暗网域名聚合系统,使用了暗网目录聚合、Tor2Web域名关键字聚合以及社交网站聚合三种方式进行收集。首先暗网目录聚合收集是暗网域名收集的...

【文章页数】：69 页

【学位级别】：硕士

【部分图文】：

图2.1索引WWW的大小示意图

齐鲁工业大学硕士学士论文7第2章相关技术与理论本章主要介绍了相关的技术和原理，主要是包括暗网的相关概念，深网、暗网以及明网之间的关系。以及匿名通信的基本原理，匿名隐藏服务协议。文本分类的相关理论，包括预处理过程、特征选择以及分类器。以及最近流行性的分类算法，朴素贝叶斯算法以及决策....

图3.1系统设计图

第3章暗网市场分析模型设计18图3.1系统设计图3.2.1数据源识别要成功进行暗网论坛研究，必须首先确定数据源的质量。利用适当的网络犯罪论坛识别技术，这是最有可能发现高质量数据源的方法。其中有三种主要技术可用于识别可以利用的网络犯罪论坛：第一种是关键字搜索，第二种是雪球收集，以及....

图3.2爬虫数据流程图

第3章暗网市场分析模型设计203.2.2数据收集在确定适合研究目的暗网论坛与市场后。Web爬虫可用于自动收集网站，使用自定义的网络抓取工具，指定一个起始种子网站。Web爬虫器是基于各种Internet的数据收集项目中常用的一种技术。爬虫将自动下载它遇到的网页，同时跟踪遇到的超链接....

图3.3威胁模型界面

齐鲁工业大学硕士学士论文21社交网络的可视化可以提供一个基本画面，其中参与者如何相互联系，以及他们在群体中的角色是什么。中心性度量是从最初在通信场景中开发的网络中找到这些中心个人的数量指标。从拓扑角度来看，能够接收或控制主流消息流的人通常站在一个类似于恒星中心点的位置。本文采用社....

本文编号：3926349