恶意URL近实时检测分析系统的设计和实现

发布时间：2021-07-10 04:32

　　计算机技术和互联网技术的迅猛发展为人们的生活方式带来了新的变化,互联网社交、电子商务以及互联网金融已经融入了人们的日常生活。与此同时,一些恶意的链接,即恶意URL会将用户导向恶意攻击性的网站,或者将用户与恶意文件连接起来,或者将用户导向钓鱼网站,伺机窃取用户的账户等信息,侵犯用户的个人隐私,带来很大的风险会造成用户的财产等损失。在大数据时代背景下,如何实时高效地检测出这些恶意URL并及时做出报警和禁止访问等防护措施,以减少恶意URL对海量网络用户的威胁和侵害,始终是网络安全领域中需要解决的问题。本文采用在线学习算法训练恶意URL检测模型,充分利用了在线学习算法的模型更新效率高、以及利用有限的计算机资源实现对无界数据处理的特点。使用流式计算框架Flink实现了对消息系统Kafka中网络流数据的URL的实时消费,通过在线学习算法训练得到的检测模型实现了对URL的近实时检测。同时利用检索引擎ElasticSearch实现了对大规模网络流数据的检索分析。本文主要完成了如下工作。1.针对采用离线批量数据训练URL的检测模型耗时长,模型不能及时更新导致URL分类模型时效性不强,以及样本数据量过大无... 

【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校

【文章页数】：75 页

【学位级别】：硕士

【图文】：

HTTP数据

46图 5.1 是解析网络数据包得到的 HTTP 的数据，图 5.2 是解析网络数据包得到NS 数据，本测试显示解析得到的所有的数据与设计的字段值相匹配，说明了 DP

测试结果如图 5.3 所示，左侧是消息系统的生产者，右侧是消息系统的消费者过 Kafka 创建的 Topic 主题，在生产者端生产消息，消费者端可成功对消息进行消费，说明成功完成了数据的实时传输。5.2.3 恶意 URL 检测结果测试

【参考文献】：
期刊论文
[1]在线学习算法综述[J]. 潘志松,唐斯琪,邱俊洋,胡谷雨.  数据采集与处理. 2016(06)
[2]面向大数据分析的在线学习算法综述[J]. 李志杰,李元香,王峰,何国良,匡立.  计算机研究与发展. 2015(08)
[3]恶意网页识别研究综述[J]. 沙泓州,刘庆云,柳厅文,周舟,郭莉,方滨兴.  计算机学报. 2016(03)

博士论文
[1]面向大规模网络流量的URL实时分类关键技术研究[D]. 沙泓州.北京邮电大学 2015



本文编号：3275195