电力全业务统一数据中心日志分析与故障预警研究

发布时间：2023-02-19 18:06

　　国家电网公司正在开展电力全业务统一数据中心的建设,以实现全业务范围、全数据类型、全时间维度数据的统一存储的管理分析。目前,国网四川省电力公司已有19套业务信息系统接入了全业务统一数据中心,数据接入总量达到110.92TB。电力全业务统一数据中心为电力系统的生产安全、稳定运行提供了重要的技术支撑和保障,同时为电网业务拓展提供了良好的指导作用。随着智能电网的发展,针对国网各信息系统的日志数据的采集分析需求急剧增加。大数据技术迅猛发展对电力全业务统一数据中心的数据分析服务提供了技术基础,运用大数据技术从海量的实时日志数据中获取潜在有用的信息已经成为主流并引起广泛关注。本文首先阐述了电力全业务统一数据中心的建设背景,在国家电网信息系统中的重要地位。然后分析介绍了电力全业务统一数据中心的整体架构,具体分析了系统各模块功能与实现方法。针对结构化数据和量测类非结构化数据,分别给出相应的数据采集方案、存储方法。同时根据电力全业务统一数据中心的系统架构和日志特征,设计了一种大数据环境下的日志采集处理架构,给出了相应的日志采集存储与日志分析方案。可以有效地采集系统日志,并分为流式处理和批处理方法进行数据挖...

【文章页数】：54 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 选题背景及意义
    1.2 国内外研究现状及发展动态
        1.2.1 基于大数据流式处理的日志采集研究现状
        1.2.2 故障预警方法研究现状
    1.3 论文研究内容
    1.4 论文结构
第2章 四川省电力公司全业务统一数据中心
    2.1 系统架构
    2.2 数据接入层
    2.3 数据存储计算层
    2.4 统一分析服务
        2.4.1 功能模块
        2.4.2 系统主界面
        2.4.3 数据接入
        2.4.4 日志查询
        2.4.5 运维管理
    2.5 本章小结
第3章 电力全业务统一数据中心日志采集与处理方法
    3.1 基于流式处理的日志采集与处理
        3.1.1 日志特征分析
        3.1.2 数据流式处理技术
        3.1.3 日志采集与处理方案
    3.2 基于分布式文件系统的日志存储
    3.3 日志数据流转测试
    3.4 本章小结
第4章 基于集成学习的日志分析与故障预警
    4.1 日志分析与故障预警
        4.1.1 故障数据源
        4.1.2 信息系统故障与检修数据关联分析
        4.1.3 故障分析预警模型
    4.2 AdaBoost集成学习算法
    4.3 基于改进AdaBoost算法的故障分析与预警模型
        4.3.1 时间序列分析算法
        4.3.2 模型评估标准
        4.3.3 模型效果分析
    4.4 本章小结
第5章 总结与展望
参考文献
攻读硕士学位期间发表的论文及其它成果
致谢



本文编号：3746702