高端容错计算机故障日志分析系统的设计与实现

发布时间：2021-03-26 16:04

　　高端容错计算机作为事务处理能力极强、可用性极高的服务器系统,广泛应用在了金融、电信、能源、交通、航空等国家关键业务领域中。这些关键行业对系统的处理能力和容错能力有严苛的要求,因为系统一旦失效就可能会造成无法挽回的巨大损失,所以高端容错计算机在投入使用之前必须对其处理能力和可用性进行严格的评测,故障注入技术是进行评测的有效方法。日志中记录了系统运行过程的中间状态,通过日志分析可以验证故障注入、容错机制等是否有效,通过对故障日志的提取可构建高端容错计算机故障库,对故障分布、故障传播和故障预测的研究都有非常重要的意义。本文首先对国内外日志分析工具和高性能计算机故障研究的现状进行了分析,发现:1)已有的日志工具中没有专门针对高端容错计算机故障日志进行管理和分析的,并且由于统计分析都是在本地进行,严重影响了被分析服务器对其他用户提供服务的效率;2)我国在高性能计算机故障的研究方面经验不足,可用的故障集有限。因此,本文围绕着数据挖掘技术展开研究,设计并实现了一种基于高端容错计算机的自动化、智能化的故障日志管理与分析系统,旨在对高端容错计算机系统中的各类日志文件进行故障的抽取、格式化和分析,建立初步... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：87 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 课题背景
        1.1.1 课题来源
        1.1.2 故障日志分析系统设计的必要性
    1.2 国内外研究现状
        1.2.1 日志分析工具现状
        1.2.2 高性能计算机故障研究现状
    1.3 数据挖掘技术研究综述
        1.3.1 数据挖掘技术概述
        1.3.2 数据挖掘常用分析方法
        1.3.3 数据挖掘的过程
        1.3.4 关联规则挖掘
    1.4 本文的主要研究内容
    1.5 本文结构
第2章 基于故障日志分析系统的故障分布研究
    2.1 高端容错计算机故障分布的极值理论
    2.2 极值统计理论
        2.2.1 极值理论简介
        2.2.2 吸引域的确定
        2.2.3 极值分布的参数估计
    2.3 故障数据的选取
    2.4 基于故障日志分析系统的故障分布研究方案
    2.5 本章小结
第3章 故障日志分析系统的整体设计
    3.1 系统基本设计目标
    3.2 系统功能设计
        3.2.1 系统核心统计、分析功能
        3.2.2 系统的其他功能
    3.3 系统总体架构
        3.3.1 功能架构
        3.3.2 层次架构
        3.3.3 体系架构
    3.4 系统工作流程
        3.4.1 系统启动流程
        3.4.2 日志分析流程
        3.4.3 统计分析结果展示流程
    3.5 本章小结
第4章 故障日志分析系统的详细设计与实现
    4.1 日志数据分析的实现思路
    4.2 日志预处理
        4.2.1 日志采集模块
        4.2.2 模板库管理模块
        4.2.3 日志预处理模块
        4.2.4 预处理结果接受模块
    4.3 日志分析
        4.3.1 日志统计分析模块
        4.3.2 数据挖掘算法的实现
        4.3.3 报表图形引擎
    4.4 基本功能
        4.4.1 查询引擎
        4.4.2 数据库操作模块
        4.4.3 主界面
    4.5 本章小节
第5章 系统的应用及故障分布模型的建立
    5.1 分布式实验环境的建立
    5.2 实验流程
    5.3 实验结果及分析
        5.3.1 故障分布情况分析
        5.3.2 关联规则挖掘结果及分析
    5.4 故障分布模型的建立
        5.4.1 LANL 故障集的统计分析
        5.4.2 利用极值理论建模
        5.4.3 利用数据拟合建模
        5.4.4 故障分布模型结果
    5.5 本章小结
结论
参考文献
攻读硕士学位期间发表的论文
致谢


【参考文献】：
期刊论文
[1]高可靠软件的可靠性评估技术[J]. 杨彬,陈丽容.  计算机工程与设计. 2007(20)
[2]针对高项频繁集的关联规则改进算法[J]. 王丹,张浩,陆剑峰.  计算机工程. 2006(24)
[3]基于关联规则的日志分析系统的设计与实现[J]. 文娟,薛永生,段江娇,王劲波.  厦门大学学报(自然科学版). 2005(S1)
[4]高可靠性软件的极值统计分析[J]. 陈云,张志华.  海军工程大学学报. 2005(02)
[5]长期极值统计理论及其在海洋环境参数统计分析中的应用[J]. 赵伟,杨永增,于卫东,乔方利.  海洋科学进展. 2003(04)
[6]从数据库中发掘定量型关联规则[J]. 梁曼君,张瑞,熊范纶.  计算机科学. 1999(08)
[7]模糊关联规则及挖掘算法[J]. 程继华,施鹏飞,郭建生.  小型微型计算机系统. 1999(04)

博士论文
[1]极值统计模型族的参数估计及其应用研究[D]. 李秀敏.天津大学 2007
[2]数据挖掘算法分析及其并行模式研究[D]. 佘春东.电子科技大学 2004
[3]KDD中的几个关键问题研究[D]. 陈莉.西安电子科技大学 2003

硕士论文
[1]基于挖掘算法的日志分析系统设计与实现[D]. 王潇博.北京交通大学 2008
[2]防火墙日志分析系统的研究与实现[D]. 何仲昆.浙江大学 2006



本文编号：3101861