集群监控中的数据采集技术研究
发布时间：2020-08-15 18:37
【摘要】： 当前集群系统已经成为高性能计算机体系结构发展的趋势,但在实际中应用集群系统时为便于对集群进行管理维护,需要能对构成集群的各个结点以及相关设备的状态进行实时监控。因此研究集群监控中的数据采集技术并设计一个监控系统对集群技术的发展和应用具有重要的现实意义。 以Lustre存储集群为背景,对存储集群环境下的远程监控技术进行了分析,并在此基础上实现了一个针对Lustre存储集群的监控系统原型ClusterMonitor。ClusterMonitor集群监控系统基于CIM/WBEM(Common Information Model/Web Based Enterprise Management)架构,由节点驻留程序MonDaemon,监控服务端程序MonServer,远程用户程序MonGui三个部分组成。对CIM/WBEM架构的遵循使得ClusterMonitor具有良好的可扩展性,而且不再依赖于传统的数据库。 监控数据采集包括监控数据的获取和监控数据的汇集。监控数据获取方面,设计了一个基于Linux内核模块的内核态监控数据获取方案,可以通过一个统一接口获取所有监控数据,并且不需要解析文本文件;监控数据汇集方面,为适应大规模集群监控的需要,设计了一个二叉树自收敛的监控数据汇集协议,采用这种协议节点能自动发现数据汇集代理并产生优化的汇集路径。 通过实验以对内存信息的获取为例验证了内核态监控数据获取方案的可行性,对二叉树自收敛汇集协议的定量分析表明了将该汇集协议应用于大规模的集群监控时将具有良好的实时性。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2008
【分类号】：TP338
【图文】：
图 1.1 PARMON 的体系结构该监控系统可以很灵活地选择被监控的对象进行显示，这个对象既可以是，也可以是一个节点，甚至具体到节点上的某个资源。但如果机群规模很下，如几百个节点，client 要一次得到所有节点的状态信息将会比较耗时间控系统所反映的整个机群系统状态信息的实时性稍差。SuperMon 是由美国 California 大学的 Los Alamos 国家高性能计算机实验室群监控系统，SuperMon 是一个通用的应用于大规模 Linux 集群的监控系rMon 的体系结构如图 1.2 所示：
作时 Supermon 顺序的连接每一个 mon，通过和 mon 进行交互获虽然使用了分层结构，但是因为只有一个 Supermon，所以当节点线性下降，同时 Supermon 也是系统中的单一失效点，使系统可靠ermon 是通过预先就知道的地址和每个 mon 连接所以在不改变 Su下很难做到结点的动态增加。同时由于 Supermon 是与 Linux 内核它的可移植性较差，应用范围很有限。lia 是由加州大学伯克利分校开发，并被应用在了 NPACI Rocks 项ks 系统的监控。Ganglia 系统是建立在分级基础[14]之上，其结构为有着很好的可扩展性，可以容易地适应不同规模的集群，这也是分布在世界各地的多个不同规模的集群上的一个主要原因。基于 递可以使得系统的状态数据跨越不同的系统平台而进行交互，这用的另一个重要原因。此外，集中式的管理、低负载和系统的健的特色。Ganglia 的体系结构如图 1.3 所示：
图 2.1 典型的集群监控系统框架2.2.1 集中式体系结构当集群的节点数量不是太多的情况下，通常采用集中式体系结构[19]。在这种结构中，每个被监控节点上都有一个监控代理，监控代理负责获取本节点信息，并响应监控系统的控制命令。监控服务器分析来自各个监控代理的信息，并根据故障假设和系统的逻辑来判断节点的行为，把相应的控制命令发送到对应节点的监控代理上。当集群规模不是太大，节点数目不是特别多的环境下，往往都采用这种结构。这种结构的好处在于：（1）容易部署：监控系统主要由位于目标节点上的监控代理和监控服务器的信息处理这两个部分组成，功能划分清晰，系统硬件部署，软件实现都较容易，而且容易适应集群规模的变化（2）处理延迟小。当监控服务器的处理器能力足够时，监控系统对目标节点出现故障的响应快，便于及时发现解决问题。图 2.2 描述了集中式体系结构的集群监控系统的典型架构，可以看出整个监控系统是由分布在目标节点的监控代理（Daemon）和单一的监控服务器组成。显然，如
本文编号：2794489
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2008
【分类号】：TP338
【图文】：
图 1.1 PARMON 的体系结构该监控系统可以很灵活地选择被监控的对象进行显示，这个对象既可以是，也可以是一个节点，甚至具体到节点上的某个资源。但如果机群规模很下，如几百个节点，client 要一次得到所有节点的状态信息将会比较耗时间控系统所反映的整个机群系统状态信息的实时性稍差。SuperMon 是由美国 California 大学的 Los Alamos 国家高性能计算机实验室群监控系统，SuperMon 是一个通用的应用于大规模 Linux 集群的监控系rMon 的体系结构如图 1.2 所示：
作时 Supermon 顺序的连接每一个 mon，通过和 mon 进行交互获虽然使用了分层结构，但是因为只有一个 Supermon，所以当节点线性下降，同时 Supermon 也是系统中的单一失效点，使系统可靠ermon 是通过预先就知道的地址和每个 mon 连接所以在不改变 Su下很难做到结点的动态增加。同时由于 Supermon 是与 Linux 内核它的可移植性较差，应用范围很有限。lia 是由加州大学伯克利分校开发，并被应用在了 NPACI Rocks 项ks 系统的监控。Ganglia 系统是建立在分级基础[14]之上，其结构为有着很好的可扩展性，可以容易地适应不同规模的集群，这也是分布在世界各地的多个不同规模的集群上的一个主要原因。基于 递可以使得系统的状态数据跨越不同的系统平台而进行交互，这用的另一个重要原因。此外，集中式的管理、低负载和系统的健的特色。Ganglia 的体系结构如图 1.3 所示：
图 2.1 典型的集群监控系统框架2.2.1 集中式体系结构当集群的节点数量不是太多的情况下，通常采用集中式体系结构[19]。在这种结构中，每个被监控节点上都有一个监控代理，监控代理负责获取本节点信息，并响应监控系统的控制命令。监控服务器分析来自各个监控代理的信息，并根据故障假设和系统的逻辑来判断节点的行为，把相应的控制命令发送到对应节点的监控代理上。当集群规模不是太大，节点数目不是特别多的环境下，往往都采用这种结构。这种结构的好处在于：（1）容易部署：监控系统主要由位于目标节点上的监控代理和监控服务器的信息处理这两个部分组成，功能划分清晰，系统硬件部署，软件实现都较容易，而且容易适应集群规模的变化（2）处理延迟小。当监控服务器的处理器能力足够时，监控系统对目标节点出现故障的响应快，便于及时发现解决问题。图 2.2 描述了集中式体系结构的集群监控系统的典型架构，可以看出整个监控系统是由分布在目标节点的监控代理（Daemon）和单一的监控服务器组成。显然，如
【引证文献】
相关期刊论文 前1条
1 邱爽;任树华;;钻井数据库集群监测系统的设计与实现[J];计算机技术与发展;2011年02期
本文编号：2794489
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2794489.html
