面向集群监控的数据采集处理及存储系统的设计与实现

发布时间：2017-07-13 14:09

  本文关键词：面向集群监控的数据采集处理及存储系统的设计与实现

  更多相关文章： 集群监控 监控数据采集 监控数据存储

【摘要】：当今计算机技术飞速发展,智能终端的不断普及让用户可以随时随地使用互联网服务,“互联网+”的概念已经全面进入日常生活,因而服务的稳定性将显得尤其重要,集群的监控必不可少。监控数据是监控的基础,是检测集群服务运行状况的最重要依据。面对现有监控系统存在的监控数据不全面、采集方式不统一以及数据可靠性不高等问题,研究设计一个面向集群监控的数据采集处理与存储系统具有重要的意义。本文以某互联网产品的运营需求和开发框架为背景,设计了一个适用于集群监控的数据采集处理及存储系统,从采集层、处理层到存储层分层实现了监控数据的统计与获取上报,监控数据的收集与分析处理,以及监控数据的存储等核心功能。本系统围绕监控数据的全面性、实时性和完整性进行设计,从架构上充分保证系统的高可用性,具有以下显著的特点:(1)针对监控数据不全面以及采集低效、方式不统一的问题,提出了一种简单高效的监控数据统计管理方法,依据该方法设计了一个基于矩阵结构的监控数据存储结构,将其应用于单机监控数据的统计与收集,有效地降低了统计成本,统一了方式,提高了采集上报的效率。(2)针对监控数据存储性能方面存在的不足,根据监控数据的特点提出了一个基于My SQL的高性能存储结构,设计定制化的表结构用于数据存储,同时结合单表数据分区和分库分表实现了高效的数据存储层,压缩了监控数据,更有效地利用存储空间,提升了监控数据的读写效率。(3)针对现有监控系统容灾能力的不足,设计了高可用的系统架构,从采集层、处理层和存储层三个监控数据流经的环节保证数据的完整性。同时配合高可用架构设计了有效的容灾策略用于系统各层之间数据传输,保证在非极端故障下系统依然稳定服务,为监控服务的质量提供了有力保障。通过对系统进行测试分析,本文设计的系统能够实现高效的监控数据采集上报、高性能的海量数据存储以及稳定可靠的持续服务。
【关键词】：集群监控 监控数据采集 监控数据存储
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP274.2;TP333
【目录】：

• 摘要5-6
• Abstract6-11
• 第一章 绪论11-16
• 1.1 研究背景和意义11
• 1.2 研究现状11-14
• 1.2.1 典型的集群监控系统11-13
• 1.2.2 现有监控系统存在的主要问题13-14
• 1.3 本文的主要工作14-15
• 1.4 论文的组织结构15-16
• 第二章 监控数据采集处理及存储系统的总体设计16-24
• 2.1 系统需求分析16-18
• 2.1.1 监控数据的种类分析16-17
• 2.1.2 监控数据的统计与管理需求17
• 2.1.3 监控数据采集与上报需求17
• 2.1.4 监控数据的分析与处理需求17-18
• 2.1.5 监控数据的存储需求18
• 2.2 系统总体架构设计18-23
• 2.2.1 系统总体组织框架18-19
• 2.2.2 系统各模块设计概要19-23
• 2.3 本章小结23-24
• 第三章 系统数据采集层的实现24-37
• 3.1 kvtable监控数据存储结构详细设计24-26
• 3.1.1 监控数据统计管理方式详细设计24-25
• 3.1.2 kvtable存储结构设计25-26
• 3.2 基于共享内存的kvtable监控数据存储结构详细实现26-31
• 3.2.1 kvtable实现的理论基础27
• 3.2.2 kvtable的数据结构实现27-29
• 3.2.3 kvtable的初始化流程实现29-31
• 3.3 基于kvtable的单机监控数据统计接31-33
• 3.3.1 gcc原子操作31-32
• 3.3.2 统计接.的实现32-33
• 3.3.3 统计接.的调用流程33
• 3.4 基于kvtable的单机监控数据采集上报33-36
• 3.4.1 Agent与业务模块程序的隔离性33-34
• 3.4.2 Agent采集上报的实现34-36
• 3.5 本章小结36-37
• 第四章 系统数据处理层的实现37-51
• 4.1 监控数据采集处理及存储系统的高可用架构设计37-42
• 4.1.1 监控数据上报的高可用设计37-38
• 4.1.2 监控数据处理的高可用设计38-41
• 4.1.3 监控数据入库存储的高可用设计41-42
• 4.2 处理层接入模块Storage的实现42-47
• 4.2.1 监控数据上报与收集详细设计实现42-45
• 4.2.2 历史监控数据的获取功能详细设计45-47
• 4.3 处理层数据处理模块Reduce的实现47-50
• 4.3.1 接收Storage模块的转发数据功能详细实现47-48
• 4.3.2 Reduce模块监控数据处理详细实现48-50
• 4.4 本章小结50-51
• 第五章 系统数据存储层的实现51-60
• 5.1 基于My SQL的高性能存储结构的设计51-55
• 5.1.1 监控数据存储面临的问题51
• 5.1.2 高性能定制化表结构的设计及实现51-53
• 5.1.3 高性能定制化表结构的实现53-55
• 5.2 监控数据存储详细实现55-58
• 5.2.1 Reduce模块与Dbproxy的通信协议设计55-56
• 5.2.2 Dbproxy数据入库详细实现56-58
• 5.3 本章小结58-60
• 第六章 集群监控数据采集处理及存储系统测试60-83
• 6.1 测试环境部署60
• 6.2 基于矩阵结构的kvtable分析测试60-65
• 6.2.1 kvtable存储情况分析61-62
• 6.2.2 kvtable读写情况分析62-64
• 6.2.3 Agent的运行性能分析测试64-65
• 6.3 基于My SQL的高性能存储表结构测试65-69
• 6.3.1 写入性能测试66-68
• 6.3.2 查询性能测试68-69
• 6.4 以数据处理层为核心的高可用系统架构分析测试69-80
• 6.4.1 测试前提及分析方法说明70
• 6.4.2 监控数据上报的高可用设计测试70-72
• 6.4.3 监控数据处理的高可用设计测试72-77
• 6.4.4 监控数据入库存储的高可用设计77-78
• 6.4.5 数据处理性能测试78-80
• 6.5 监控数据展示功能分析80-81
• 6.6 测试分析总结81-83
• 总结与展望83-85
• 论文总结83
• 展望83-85
• 参考文献85-88
• 攻读硕士学位期间取得的研究成果88-89
• 致谢89-90
• 附件90

【参考文献】

中国期刊全文数据库 前7条

1 何丽萍;刘立程;;改进的基于Ganglia的网格监控系统[J];广东工业大学学报;2006年01期

2 杨升春,代征,方蕾;Linux下系统V共享内存的保存与恢复[J];计算机与数字工程;2005年09期

3 魏根芽;;基于Linux的Nagios服务器监控系统的研究与实现[J];计算机与现代化;2010年06期

4 路小娟;董昱;朱正平;;Linux环境下计算机联锁系统进程通信的实现[J];兰州交通大学学报;2006年06期

5 潘圆圆;李德华;;C++中的原子操作及其使用[J];计算机与数字工程;2013年11期

6 孙爱婷;刘青昆;;高效的机群监控信息采集模型[J];计算机工程与设计;2010年20期

7 江魁,黄云森;基于RRDtool的网络性能监测系统实现[J];中山大学学报(自然科学版);2002年S1期

中国硕士学位论文全文数据库 前10条

1 孙爱婷;机群监控系统关键技术的研究与实现[D];辽宁师范大学;2010年

2 应乐;基于Python语言的MySQL数据库应用层水平分区技术的研究[D];复旦大学;2010年

3 王飞;基于分布式Nagios体系的应用监控平台设计与实现[D];复旦大学;2011年

4 易昭华;大规模机群监控系统监控信息采集与储存技术研究[D];清华大学;2005年

5 赵月辉;大规模机群远程监控管理关键技术及实现[D];中国科学院研究生院（计算技术研究所）;2006年

6 邢小虎;集群监控系统的研究与设计[D];上海海事大学;2006年

7 谢子光;多核处理器核间通信技术研究[D];电子科技大学;2009年

8 覃中;基于多核系统的线程调度[D];电子科技大学;2009年

9 廖家建;集群监控中的数据采集技术研究[D];华中科技大学;2008年

10 司徒放;基于事件的分布式系统监控[D];上海交通大学;2010年

，

本文编号：537192