系统日志故障预测中的ELK与LSTM应用与实践

发布时间：2021-11-26 16:05

　　随着业务系统规模不断扩大,系统结构也变得十分复杂,常规基于规则的方法已经很难判断多个系统相互作用下的复合型故障,也难以对潜在故障进行预测.本文在多业务系统的复杂场景下,使用ELK平台对日志进行集中化管理,梳理出复杂系统环境下日志与各业务系统、主机、进程之间的关系,筛选出系统中直接与故障相关的日志文件,进而在深度学习框架TensorFlow中使用这些海量数据对LSTM算法模型进行训练,从而实现对系统的实时故障预测. 

【文章来源】：计算机系统应用. 2020,29(07)

【文章页数】：4 页

【参考文献】：
期刊论文
[1]基于Spark Streaming的海量日志实时处理系统的设计[J]. 陆世鹏.  电子产品可靠性与环境试验. 2017(05)
[2]基于Flume的分布式日志采集分析系统设计与实现[J]. 陈飞,艾中良.  软件. 2016(12)
[3]基于Chukwa的大规模日志智能监测收集方法[J]. 张川,邓珍荣,邓星,黄文明.  计算机工程与设计. 2014(09)

硕士论文
[1]基于Spark的网络日志分析系统的设计与实现[D]. 刘季函(Liu,Chi Han).南京大学 2014



本文编号：3520489