网络威胁情报处理系统的设计与开发

发布时间：2021-09-19 02:41

　　本文介绍了一种网络威胁情报处理系统的设计与开发,该系统作为安全防御系统的一部分,能持续稳定的输出可靠的威胁情报。文中从威胁情报系统的需求和特点出发,介绍了系统的总体架构、大数据技术的应用和关键设计等。威胁情报系统主要使用大数据技术对情报数据进行处理、分析和管理,本文详细介绍了这些大数据技术的应用,为类似系统的设计提供参考。 

【文章来源】：网络安全技术与应用. 2020,(08)

【文章页数】：3 页

【部分图文】：

威胁情报系统

系统中使用了各种大数据技术，按模块分如图2所示。数据处理模块使用流式数据处理和数据处理管道技术，对收集来的数据进行过滤、格式转换、复杂变换和数据丰富化等处理，使用数据管道再进行数据分发。数据流式处理使用Spark Structure Streaming，数据处理管道使用Logstash和Kafka。数据存储使用基于Hadoop HDFS的数据仓库Delta Lake，配合分布式数据处理引擎Spark进行数据分析和挖掘。全文检索和分析型数据库用于“热数据”的搜索、统计和分析。云端对象存储S3用于数据备份和中转。技术栈的选择并非唯一的，如数据流式处理可以选择Flink、分析型数据库可选择ClickHouse等，最终的选择根据实际使用需求、云平台的使用以及开发和使用人员的技术偏好等因素综合考虑。2 情报数据处理

Data at Rest和Data in Motion


本文编号：3400844