日志分析系统的任务调度方法研究

发布时间：2023-04-26 21:30

　　随着互联网与信息技术的不断发展，信息系统规模变得越来越庞大，如何对系统运行时的性能、业务数据、网络负载等情况进行监控分析成为了当前迫切需要解决的问题。而计算机日志作为系统的真实写照，记录了系统运行过程中发生的各种事件以及其对应的时间和产生的结果，因此，通过对日志进行分析，可以挖掘日志中蕴含的关键信息，为用户提供各方面的数据服务。 日志分析系统作为日志分析的一整套解决方案由多台服务器构成，通过网络的协调同步共同完成日志分析。其面向海量的日志信息，通过实时的对日志进行分析为用户提供服务。日志分析系统周期性的产生众多日志分析任务，它们在系统的调度下分派到适合的计算节点执行。日志分析任务具有计算量大、时效性强、准确性高等特点，其性能决定着整个系统的成败。 本文通过日志分析系统的模块结构介绍，明确了任务调度模块在整个系统中的核心作用，并提出完成一个高效任务调度模块需要实现的目标。本文从任务调度理论与作者亲身参与开发的一款日志分析系统出发，总结了现阶段系统任务调度模块存在的缺陷，并在此基础上提出一种改进型的日志分析系统任务调度方案。方案分别从架构和算法两方面展开设计，其中架构方面借鉴集中式调度思想...

【文章页数】：65 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景
    1.2 日志分析系统任务调度概述
        1.2.1 日志分析任务概述
        1.2.2 任务调度模块的地位
        1.2.3 日志分析系统任务调度目标
    1.3 研究现状
        1.3.1 任务调度架构
        1.3.2 任务调度算法
        1.3.3 日志分析系统的任务调度
    1.4 研究内容与意义
    1.5 论文的结构安排
第二章 相关理论介绍
    2.1 任务调度理论概述
        2.1.1 任务调度目标
        2.1.2 任务调度标准过程
        2.1.3 任务调度分类
    2.2 蚁群算法介绍
        2.2.1 蚁群算法概述
        2.2.2 蚁群算法规则
        2.2.3 蚁群算法思想
        2.2.4 蚁群算法在 TSP 问题中的应用
    2.3 其他相关技术介绍
        2.3.1 Master-Slave 结构
        2.3.2 Zookeeper
        2.3.3 MINA 通讯框架
    2.4 本章小结
第三章 日志分析系统任务调度设计
    3.1 设计改进方向
    3.2 架构设计方案
        3.2.1 任务收集器（Collector）
        3.2.2 调度器（Master）
        3.2.3 计算节点（Slave）
        3.2.4 集群管理（Zookeeper）
    3.3 算法设计方案
        3.3.1 蚁群算法的改进
        3.3.2 数学模型的改进
    3.4 调度执行流程
    3.5 任务调度方案特点与优势
    3.6 本章小结
第四章 任务调度实现与性能测评
    4.1 节点间通信实现
    4.2 调度架构实现
    4.3 调度算法实现
    4.4 性能测评
第五章 总结与展望
参考文献
致谢
在学期间的研究成果及发表的学术论文
附录： 任务调度运行截图



本文编号：3802221