Linux服务器性能监控与分析系统的研究与实现

发布时间：2017-09-24 21:50

  本文关键词：Linux服务器性能监控与分析系统的研究与实现

  更多相关文章： 性能监控 Linux系统 大数据处理 异常数据分析

【摘要】：随着互联网业务的迅猛发展,互联网相关企业的服务器承受着越来越多的压力,并且随时有扩容的需求。为确保服务器稳定的运行,对服务器的性能进行监控,对企业来说有着十分重要的实际意义。当下的服务器性能监控技术虽能提供实时的性能数据,并在性能瓶颈时产生报警,但缺乏历史数据的存储与查询以及性能数据分析等方面的功能。本论文在借鉴现有监控技术的基础上,设计并实现了一整套Linux服务器性能监控与分析系统(Server Performance Monitor,文中简称SPM)。 本文首先对一系列传统的服务器性能监控技术以及数据分析方法进行了概述,然后详细介绍了本系统中性能数据采集与传输模块的设计与实现,包括对不同的远程数据传输方法进行了性能比较以及模块程序的版本自动更新；针对产生的海量性能数据,本文在Hadoop数据处理框架上建立了一套性能数据存储与查询系统,系统通过HDFS (Hadoop Distribute File System)对性能数据进行二进制存储,同时利用MapReduce框架编写后台程序,实现了性能数据的并发式查询。之后,利用系统查询获得的历史性能数据,论文对异常性能数据进行了分析,通过观察各类性能数据的变化曲线定义出突发式异常、分布式异常以及内存泄露式异常,根据异常特征提出了动态阈值法、函数模型法等检测手段,并对异常出现的原因进行了简要分析。本文最后对服务器性能监控技术的研究成果进行了总结和展望。
【关键词】：性能监控 Linux系统 大数据处理 异常数据分析
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP368.5;TP273
【目录】：

• 摘要4-5
• ABSTRACT5-11
• 第一章 绪论11-15
• 1.1 研究背景11-12
• 1.2 研究意义12-13
• 1.3 论文结构13-15
• 第二章 服务器性能监控与分析方法综述15-23
• 2.1 服务器性能数据15-18
• 2.1.1 服务器性能指标15-16
• 2.1.2 Linux性能监测工具16-18
• 2.2 传统性能监控与分析方法18-20
• 2.2.1 基于SNMP的服务器性能监控18-19
• 2.2.2 基于LDAP的网格监控系统19-20
• 2.2.3 基于阈值曲线的性能数据分析20
• 2.3 海量性能数据处理20-23
• 第三章 性能数据采集与传输模块的设计与实现23-33
• 3.1 性能数据采集模块23-27
• 3.1.1 模块主要功能23-24
• 3.1.2 模块结构流程图24
• 3.1.3 输出文件格式说明24-27
• 3.2 性能数据传输模块27-30
• 3.2.1 数据传输环境27-28
• 3.2.2 传输文件重命名28
• 3.2.3 数据传输过程28-29
• 3.2.4 远程传输方法的比较29-30
• 3.3 模块版本自动更新30-33
• 3.3.1 更新方案30-31
• 3.3.2 版本表31-33
• 第四章 海量性能数据分析系统的设计与实现33-61
• 4.1 系统的整体设计33-34
• 4.2 数据导入模块34-44
• 4.2.1 模块说明34-35
• 4.2.2 HDPF框架概述35-36
• 4.2.3 文件下载36-38
• 4.2.3.1 本地存储路径36-37
• 4.2.3.2 下载流程图37
• 4.2.3.3 文件缺失检查37
• 4.2.3.4 文件名检查37-38
• 4.2.4 数据准备38-39
• 4.2.4.1 工作流程38-39
• 4.2.4.2 关键点设计39
• 4.2.5 数据清洗与整理39-44
• 4.2.5.1 工作流程40
• 4.2.5.2 不同话单类的UML类图40-41
• 4.2.5.3 生成索引表41
• 4.2.5.4 生成硬件信息表41-42
• 4.2.5.5 查找缺失点42
• 4.2.5.6 生成每日状态统计报告42
• 4.2.5.7 导入数据42-43
• 4.2.5.8 手动导入多天数据43-44
• 4.3 数据统计分析模块44-54
• 4.3.1 模块框架44-45
• 4.3.2 数据获取功能45-47
• 4.3.2.1 输入45
• 4.3.2.2 输出45-46
• 4.3.2.3 程序设计46
• 4.3.2.4 实现方法46-47
• 4.3.3 数据统计功能47-50
• 4.3.3.1 输入47-48
• 4.3.3.2 输出48
• 4.3.3.3 程序设计48
• 4.3.3.4 实现方法48-50
• 4.3.4 进程信息查询50-53
• 4.3.4.1 输入50
• 4.3.4.2 输出50
• 4.3.4.3 程序设计50-51
• 4.3.4.4 实现方法51-53
• 4.3.5 缺失记录统计53-54
• 4.3.5.1 输入53
• 4.3.5.2 输出53
• 4.3.5.3 程序设计53
• 4.3.5.4 实现方法53-54
• 4.3.6 自定义InputFormat部件54
• 4.4 数据查询界面54-57
• 4.4.1 操作员管理界面54
• 4.4.2 性能数据获取界面54-56
• 4.4.2.1 服务器自动过滤实现55-56
• 4.4.2.2 字段按分类型多行显示56
• 4.4.2.3 提交后弹出确认窗口56
• 4.4.2.4 显示查询进度56
• 4.4.3 性能数据统计界面56
• 4.4.4 进程信息查询界面56
• 4.4.5 数据缺失记录统计界面56-57
• 4.4.6 查询历史界面57
• 4.4.7 每日数据统计界面57
• 4.4.8 文件名检查界面57
• 4.4.9 文件缺失检查界面57
• 4.5 结果展示57-61
• 第五章 异常性能数据分析61-71
• 5.1 异常定义61-67
• 5.1.1 CPU性能数据分析61-64
• 5.1.2 内存性能数据分析64-66
• 5.1.3 磁盘性能数据分析66-67
• 5.2 异常检测方法67-69
• 5.2.1 静态阈值法67-68
• 5.2.2 动态阈值法68-69
• 5.2.3 函数模型法69
• 5.3 异常分析69-71
• 5.3.1 查看历史操作记录69-70
• 5.3.2 查询进程信息70-71
• 第六章 总结与展望71-73
• 参考文献73-75
• 致谢75-77
• 攻读学位期间发表的学术论文目录77

【参考文献】

中国期刊全文数据库 前5条

1 毋红军,刘章;统计数据的异常值检验[J];华北水利水电学院学报;2003年01期

2 查礼,徐志伟,林国璋,刘玉树,刘东华,李伟;基于LDAP的网格监控系统[J];计算机研究与发展;2002年08期

3 屈利娟;郭丽霞;贺天鹤;;基于SNMP的服务器性能监控技术[J];计算机时代;2007年01期

4 张彤;吴世荣;;基于SNMP计算机网络流量监控系统研究[J];计算机技术与发展;2011年01期

5 闫新惠,童小念;基于Web/Java技术的SNMP网络性能管理的研究[J];现代计算机(专业版);2003年09期

，

本文编号：913666