一种基于日志结合分析的集群系统失效预测方法

发布时间：2018-01-05 22:03

本文关键词：一种基于日志结合分析的集群系统失效预测方法　出处：《高技术通讯》2016年06期 　论文类型：期刊论文

【摘要】：研究了大规模超级计算机群系统的失效预测。针对现有的单一分析系统日志的方法不仅需要复杂的分布式数据挖掘技术,而且失效预测的召回率普遍不高的问题,提出了一种通过将记载集群系统负载变化的作业日志同系统日志结合起来分析来进行失效预测的方法。该方法的原理如下:首先,通过对原始系统日志和作业日志进行预处理和过滤,分别得到细粒度的二维的事件序列和作业序列;然后从中抽取出在系统日志的失效事件发生前作业日志所表现出的三种典型失效征兆;最后,利用失效征兆进行失效预测。在真实的IBM Blue Gene/P系统的系统日志和作业日志上的实验结果表明,基于两种日志结合分析的方法能以较高的准确率和召回率实现细粒度的失效预测。
[Abstract]:Failure prediction large-scale super computer group system is studied. According to the analysis method of single log system requires not only the existing complex distributed data mining technology, and the recall rate of failure prediction is generally not high, the paper presents a method for failure prediction of the recorded cluster system load changes with the job log system log the combined analysis. The principle of the method is as follows: firstly, through preprocessing and filtering of the original system logs and logs are two-dimensional fine-grained event sequence and operation sequence; then extracted from three typical failure events in the system log before the job log shows signs of failure finally, the failure prediction; using the failure sign. In the system log log IBM Blue Gene/P system and work on the real experimental results show that the base Two methods of log combined analysis can achieve fine-grained failure prediction with higher accuracy and recall.

【作者单位】：计算机体系结构国家重点实验室;中国科学院计算技术研究所;中国科学院研究生院;
【基金】：863计划(2015AA015308) 973计划(2014CB340402)资助项目
【分类号】：TP338
【正文快照】： 0引言大规模集群系统是云计算和高性能计算的常用平台。随着越来越多传统的社交和经济活动被搬到互联网上,数据中心的计算任务变得日益复杂,超级计算机也正朝着百亿亿次级(exascale)的规模发展,相应地,大规模集群系统的失效(failure)则成了大规模集群系统的常态[1]。可靠性与

【相似文献】