云环境下网络告警管理系统设计

发布时间：2017-04-28 01:06

  本文关键词：云环境下网络告警管理系统设计，由笔耕文化传播整理发布。

【摘要】：随着计算机网络的普及、设备终端的多样化以及数据收集技术的不断进步,网络信息量呈现爆炸式增长的趋势。传统基于关系数据库的网络管理软件,存在着网络带宽消耗大、管理平台负荷高、可靠性差等许多问题。本文基于云计算环境,重点围绕网络告警数据的联机分析处理和关联规则的挖掘展开研究。首先,面向下一代网络管理应用,针对现有的网络告警分析方法存在的维度单一、效率低下、系统内存溢出甚至系统崩溃等问题,提出了一种基于Hive的网络告警信息联机分析处理(On-Line Analytical Processing,OLAP)方法。该方法基于Hive数据仓库体系,首先通过实时采集的海量网络告警数据进行预处理后映射到Hive中,再分别构建N-D方体模型与星型模型进而实现Rollup与Cube操作。该方法在域间设备存在和不存在这两种情况下都适用。实验结果表明,该方法不仅可以实现数据的大批量上传,还能从多个维度揭示隐藏的告警定位知识以及一些有意义的用户和系统信息,从而为网络管理人员提供决策支持。其次,考虑到下一代网络管理应用中告警数据本身具有的海量、冗余、关联等特点,以及现有的PFP算法(基于MapReduce的Frequent-Pattern Growth)存在的内存与计算时间的双瓶颈问题,提出了一种新的基于MapReduce的快速挖掘算法。该算法采用结构化存储的告警数据模型,通过简单扫描数据立方体以减少对整个数据库的重复扫描,在求取条件模式基时采用了共享路径的方式以减少对树的遍历次数,并应用MapReduce框架以实现并行计算。实验结果证明,该算法运行效率高、扩展性好且可靠性强。该改进算法能找出各设备检测状态告警之间的关联关系,减少重复告警,为设备维护和网络管理提供依据。最后,综合上述基于Hive的告警信息联机分析处理方法和基于MapReduce的快速挖掘算法,设计了一个面向云计算环境的告警管理系统,并对网络告警管理系统的各个模块进行了详细的设计与实现,具体包括告警的采集、存储、刷新、分析、挖掘与数据交互等。该系统的特点是,一方面利用OLAP的分析结果为数据挖掘奠定信息基础,另一方面通过数据挖掘拓展OLAP的深度,能发现更为复杂的关联信息,使分析智能化,挖掘目标化,从而提升告警管理系统的实用价值。
【关键词】：云计算 网络告警 Hadoop 联机分析处理 数据挖掘
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13;TP393.07
【目录】：

• 摘要4-5
• Abstract5-9
• 第一章 绪论9-16
• 1.1 研究背景与研究意义9-10
• 1.2 国内外研究与应用现状10-14
• 1.3 论文主要工作和结构安排14-16
• 第二章 相关技术研究16-28
• 2.1 云计算技术16-20
• 2.1.1 Hadoop平台16-18
• 2.1.2 云计算技术特点分析18-19
• 2.1.3 云计算在网络管理中的应用优势19-20
• 2.2 网络告警管理20-23
• 2.2.1 网络告警数据特点分析20
• 2.2.2 网络告警与告警关联性20-21
• 2.2.3 网络告警与网络故障的管理21-22
• 2.2.4 网络告警现存问题22-23
• 2.3 数据挖掘23-27
• 2.3.1 OLAP技术特点分析23-24
• 2.3.2 OLAP与数据挖掘24-25
• 2.3.3 数据挖掘生命周期25-26
• 2.3.4 数据挖掘常用算法26
• 2.3.5 数据挖掘与网络告警管理26-27
• 2.4 本章小结27-28
• 第三章 一种基于Hive的网络告警信息处理方法28-43
• 3.1 相关研究与问题描述28-30
• 3.2 一种基于Hive的网络告警信息处理方法30-39
• 3.2.1 整体框架设计30-32
• 3.2.2 告警数据预处理32
• 3.2.3 OLAP建模与建表32-37
• 3.2.4 Rollup与Cube操作37-39
• 3.3 性能仿真和结果分析39-42
• 3.3.1 仿真环境与数据准备39-40
• 3.3.2 仿真结果与分析40-42
• 3.4 本章小结42-43
• 第四章 一种基于MapReduce的快速数据挖掘算法43-58
• 4.1 相关研究与问题描述43-45
• 4.2 基于MapReduce的快速挖掘算法45-53
• 4.2.1 告警数据结构45-46
• 4.2.2 数据立方体表的构建46-47
• 4.2.3 数据挖掘整体架构47
• 4.2.4 改进算法步骤与伪代码47-53
• 4.3 仿真性能和结果分析53-57
• 4.3.1 仿真环境与数据准备53
• 4.3.2 仿真结果与分析53-57
• 4.4 本章小结57-58
• 第五章 基于云计算的网络告警管理系统设计与实现58-74
• 5.1 需求分析58-60
• 5.1.1 功能需求59-60
• 5.1.2 性能需求60
• 5.2 系统总体设计60-62
• 5.2.1 软件运行环境60-61
• 5.2.2 软件整体架构61-62
• 5.3 详细设计与实现62-72
• 5.3.1 告警数据采集62-63
• 5.3.2 时间戳倒序存储63-64
• 5.3.3 增量的分页刷新64-66
• 5.3.4 联机分析处理66-68
• 5.3.5 关联规则挖掘68-70
• 5.3.6 前后端数据交互70-72
• 5.4 软件测试72
• 5.5 本章小结72-74
• 第六章 总结与展望74-76
• 参考文献76-80
• 附录1 攻读硕士学位期间撰写的论文80-81
• 附录2 攻读硕士学位期间申请的专利81-82
• 附录3 攻读硕士学位期间研发的网管软件82-83
• 附录4 攻读硕士学位期间参加的科研项目83-84
• 致谢84

【参考文献】

中国期刊全文数据库 前1条

1 李建中,hlju.edu.cn,高宏;一种数据仓库的多维数据模型[J];软件学报;2000年07期

  本文关键词：云环境下网络告警管理系统设计，由笔耕文化传播整理发布。

，

本文编号：331810