多元网络标签数据汇聚与特征分析技术

发布时间：2023-07-27 08:57

　　如今互联网中信息繁多,内容丰富,人们可以在互联网上使用到各式各样的网络服务。但是,不断变化的网络给网络监管提出了挑战,网络中存在着各类带有标签的数据,其获取方式与存在形式各异,难以进行统一的管理与分析,而目前有关于网络数据汇聚的研究工作或者成熟的平台产品几乎都是针对特定类型的网络数据进行收集。为解决这一问题,本文将基于Docker以及Kubernetes设计一种能够支持从网络中不同目标获取相应数据,能够对这些数据进行存储、统计与分析的平台,让容器成为各类数据汇聚、存储、分析等过程的载体,并且这些容器则由Kubernetes统一调度。然而Kubernetes在资源管理方面和数据处理方面有所不足。针对上述问题,本文设计了相应的解决方案并实现完整的系统,具体的工作如下:(1)提出了集群带宽资源管理策略,设计了针对数据汇聚任务的调度流程,优化了 Kubernetes的任务调度方式,解决了在集群带宽资源不足时需要及时完成的任务无法顺利执行的问题。(2)设计了适用于多源异构数据的存储过程,提高了容器平台对多源异构数据的处理能力,解决了出现数据高峰导致数据积压、容器的无状态特点导致文件类数据丢失等问...

【文章页数】：76 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究工作的背景和意义
    1.2 国内外研究现状
    1.3 论文的主要工作
    1.4 论文结构安排
第二章 相关技术研究
    2.1 网络探测相关技术
        2.1.1 主动探测
        2.1.2 被动探测
        2.1.3 网络扫描平台产品
    2.2 Web页面内容提取与分析相关技术
        2.2.1 Web页面获取
        2.2.2 网页内容特征提取
        2.2.3 聚类算法
    2.3 容器化平台相关技术
        2.3.1 容器
        2.3.2 容器编排
    2.4 存储相关技术
        2.4.1 内存数据库
        2.4.2 数据持久化
    2.5 本章小结
第三章 数据汇聚与特征分析关键技术研究
    3.1 任务调度关键技术研究
        3.1.1 Kubernetes调度技术分析与研究
        3.1.2 任务类型分析
        3.1.3 调度策略优化
    3.2 数据存储关键技术研究
        3.2.1 格式化数据存储方案
        3.2.2 非格式化数据存储方案
    3.3 本章小结
第四章 系统设计
    4.1 系统概要设计
        4.1.1 系统整体架构设计
        4.1.2 系统功能结构图
    4.2 系统详细设计
        4.2.1 集群管理模块设计
        4.2.2 任务管理模块设计
        4.2.3 镜像管理模块设计
        4.2.4 结果管理模块设计
        4.2.5 统计管理模块设计
    4.3 本章小结
第五章 多元网络标签数据统计与特征分析
    5.1 IP响应时间与地理信息统计分析
    5.2 端口开放统计
    5.3 主机服务统计
    5.4 域名-地理信息统计
    5.5 DNS服务器相关统计
    5.6 网页主题关键词统计
    5.7 网页内容聚类分析
    5.8 本章小结
第六章 系统测试
    6.1 测试环境部署
    6.2 系统功能测试
        6.2.1 集群管理功能测试
        6.2.2 任务管理功能测试
        6.2.3 镜像管理功能测试
        6.2.4 结果管理功能测试
        6.2.5 统计管理功能测试
    6.3 实时任务调度功能测试
    6.4 系统性能测试
    6.5 本章小结
第七章 总结与展望
    7.1 本文工作总结
    7.2 不足与展望
致谢
参考文献
攻读硕士期间取得的研究成果



本文编号：3837718