云平台下服务分布式监控系统的研究与实现
发布时间：2021-07-11 11:27
近年来国内云平台的发展越来越成熟,生活中很多场景都有云平台在背后做支撑。云平台的高度伸缩性和可靠性吸引越来越多的个人以及企业将服务迁移到云平台上运行。云平台上部署了复杂的计算设备、存储设备和网络设备,同时运行了多样的操作系统、虚拟机以及软件服务。保障这些设备与服务的运行正常以及出现故障能及时发现,对维持云平台平稳运行来说?分重要。监控系统在实时检测云平台异常并且掌握云平台整体运行状态中起到了巨大的作用。因此云平台监控系统设计的好坏将直接决定云平台能否给用户提供高质量并且稳定的服务。目前开源市场有很多监控软件供人们免费使用,并且很多个人以及企业都部署了自己的监控系统。但是传统的集群监控系统所采用的系统架构并不能适用于云平台使用场景。通过对主流开源监控系统进行分析,发现它们在监控指标采集的多样性、高并发数据的处理能力、告警判断的实时性、部署配置复杂度等多方面都无法达到云平台的使用要求。本文的主要工作就是设计出一套能适用于云平台的监控系统架构。该架构能够应对云平台高并发的使用场景,并且能够动态的扩容以适应云平台的持续发展。技术分析阶段,本文首先对三款开源监控软件（Zabbix、Ganglia...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：92 页
【学位级别】：硕士
【部分图文】：
Zabbix架构图
电子科技大学硕士学位论文集成的RRDtool有绘图功能，能够直观的用图像的方式展示历史数据状态。最后使用简洁的Web前端用户可以方便的访问平台上所有采集指标的历史运行状态。Ganglia整体的系统架构如下图2-2：图2-2Ganglia架构图Gmond是一个数据采集守护进程，部署在所有需要被监控的服务器上。通过采用高并发技术和细粒度读写锁技术来高效并极低开销的监听每个节点。多个Gmond节点组成一个簇，簇内使用UDP广播形式获得的其他节点数据，每个节点都完整保存有其他节点的指标数据副本。Gmond将采集到的数据通过压缩XML(XDR)的形式进行传输，极大地减少了传输数据量。Gmond传输数据时会在心跳信息中设置一个精确地时间戳，用来确认Gmond实例运行状态，当连续多个时间戳变化超出时间阈值代表所在节点被关闭。Gmetad是一个数据汇集守护进程，不需要部署在所有节点上，只需要安装在节点管理器上。Gmetad使用定期轮询并使用TCP传输的方式从Gmond程序拉取获得监控数据。当访问的节点拉取失败时，访问同簇其他节点同样能够获得。然后使用SAX解析器解析得到的数据，并使用GNUGPREF哈希表对数据进行比较。最后使用RRD数据库将这些时序数据进行存储。RRD是一个环形数据库。该数据库安装时设置好固定的长度，当数据库存储达到设定上限时新数据覆盖旧数据，能够保证数据库永远不被填满。该数据库空10
电子科技大学硕士学位论文备信息(CPU状态、内存状态、磁盘状态)；可以使用定制插件的方式对新监控项进行扩展；当监控节点的设备、网络、服务运作状态发生故障时实现了短信、邮件等多种方式报警通知管理人员，并记录进报警日志；实现了简易的Web界面，可以方便的查看系统各个组件的运行状态等。Nagios系统整体架构图如下图2-3：图2-3Nagios架构图Nagios架构主要由NagiosCore、NagiosPlugins和一些可选组件组成(NSCA、NPRE、NDOUtils等)。NagiosCore安装在Linux、Unix环境中，主要工作是调度系统其他模块完成整体监控工作。他本身能够实现的监控功能比较有限，需要在监控端和被监控端搭配可选组件来扩展完成复杂监控任务。最终通过Web展示给用户查看。NSCA是Nagios提供的一种被动监控方式。被监控方主动将采集到的监控指标发送到监控系统，提高了系统运行的时效性。但Nagios目前仅提供了Linux、Unix环境下的程序，Windows环境没有相关功能。NPRE是Nagios提供的一种主动监控方式。监控系统定期主动向各个被监控端发送相关检测任务。NSClient++是Nagios提供的用于监控Windows系统的守护进程。NDOUtils是Nagios提供的一个将监控状态持久化到数据库中的守护进程。Nagios缺点：1.Nagios监控的是系统工作中的瞬时状态，不提供数据库存储的功能。所有监控指标的历史数据都没有持久化存储到数据库中，不能提供一段时间内的机器状态监控数据的回看。12
【参考文献】：
期刊论文
[1]CNNIC发布第44次《中国互联网络发展状况统计报告》[J]. 于朝晖. 网信军民融合. 2019(09)
[2]基于Zabbix的网络监控系统[J]. 赵哲,谭海波,赵赫,王卫东,李晓风. 计算机技术与发展. 2018(01)
[3]云计算用户数据传输与存储的安全方案[J]. 王鸿博,沈鸽. 通讯世界. 2017(18)
[4]Toward Cloud Computing QoS Architecture:Analysis of Cloud Systems and Cloud Services[J]. Mohammad Hossein Ghahramani,MengChu Zhou,Chi Tin Hon. IEEE/CAA Journal of Automatica Sinica. 2017(01)
[5]基于opentsdb的分布式实时监控方案[J]. 杨帆. 福建电脑. 2016(11)
[6]分布式存储系统中改进的一致性哈希算法[J]. 王康,李东静,陈海光. 计算机技术与发展. 2016(07)
[7]循环数据库服务的设计与实现[J]. 郭伟. 数字技术与应用. 2016(03)
[8]高并发下的大数据处理架构探索与实践[J]. 罗芸,张晓川,朱建中. 电信网技术. 2013(07)
[9]Redis在高速缓存系统中的应用[J]. 曾超宇,李金香. 微型机与应用. 2013(12)
[10]海量存储系统的性能管理与监测方法研究[J]. 李超,梁阿磊,管海兵,李小勇. 计算机应用与软件. 2012(07)
本文编号：3278007
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：92 页
【学位级别】：硕士
【部分图文】：
Zabbix架构图
电子科技大学硕士学位论文集成的RRDtool有绘图功能，能够直观的用图像的方式展示历史数据状态。最后使用简洁的Web前端用户可以方便的访问平台上所有采集指标的历史运行状态。Ganglia整体的系统架构如下图2-2：图2-2Ganglia架构图Gmond是一个数据采集守护进程，部署在所有需要被监控的服务器上。通过采用高并发技术和细粒度读写锁技术来高效并极低开销的监听每个节点。多个Gmond节点组成一个簇，簇内使用UDP广播形式获得的其他节点数据，每个节点都完整保存有其他节点的指标数据副本。Gmond将采集到的数据通过压缩XML(XDR)的形式进行传输，极大地减少了传输数据量。Gmond传输数据时会在心跳信息中设置一个精确地时间戳，用来确认Gmond实例运行状态，当连续多个时间戳变化超出时间阈值代表所在节点被关闭。Gmetad是一个数据汇集守护进程，不需要部署在所有节点上，只需要安装在节点管理器上。Gmetad使用定期轮询并使用TCP传输的方式从Gmond程序拉取获得监控数据。当访问的节点拉取失败时，访问同簇其他节点同样能够获得。然后使用SAX解析器解析得到的数据，并使用GNUGPREF哈希表对数据进行比较。最后使用RRD数据库将这些时序数据进行存储。RRD是一个环形数据库。该数据库安装时设置好固定的长度，当数据库存储达到设定上限时新数据覆盖旧数据，能够保证数据库永远不被填满。该数据库空10
电子科技大学硕士学位论文备信息(CPU状态、内存状态、磁盘状态)；可以使用定制插件的方式对新监控项进行扩展；当监控节点的设备、网络、服务运作状态发生故障时实现了短信、邮件等多种方式报警通知管理人员，并记录进报警日志；实现了简易的Web界面，可以方便的查看系统各个组件的运行状态等。Nagios系统整体架构图如下图2-3：图2-3Nagios架构图Nagios架构主要由NagiosCore、NagiosPlugins和一些可选组件组成(NSCA、NPRE、NDOUtils等)。NagiosCore安装在Linux、Unix环境中，主要工作是调度系统其他模块完成整体监控工作。他本身能够实现的监控功能比较有限，需要在监控端和被监控端搭配可选组件来扩展完成复杂监控任务。最终通过Web展示给用户查看。NSCA是Nagios提供的一种被动监控方式。被监控方主动将采集到的监控指标发送到监控系统，提高了系统运行的时效性。但Nagios目前仅提供了Linux、Unix环境下的程序，Windows环境没有相关功能。NPRE是Nagios提供的一种主动监控方式。监控系统定期主动向各个被监控端发送相关检测任务。NSClient++是Nagios提供的用于监控Windows系统的守护进程。NDOUtils是Nagios提供的一个将监控状态持久化到数据库中的守护进程。Nagios缺点：1.Nagios监控的是系统工作中的瞬时状态，不提供数据库存储的功能。所有监控指标的历史数据都没有持久化存储到数据库中，不能提供一段时间内的机器状态监控数据的回看。12
【参考文献】：
期刊论文
[1]CNNIC发布第44次《中国互联网络发展状况统计报告》[J]. 于朝晖. 网信军民融合. 2019(09)
[2]基于Zabbix的网络监控系统[J]. 赵哲,谭海波,赵赫,王卫东,李晓风. 计算机技术与发展. 2018(01)
[3]云计算用户数据传输与存储的安全方案[J]. 王鸿博,沈鸽. 通讯世界. 2017(18)
[4]Toward Cloud Computing QoS Architecture:Analysis of Cloud Systems and Cloud Services[J]. Mohammad Hossein Ghahramani,MengChu Zhou,Chi Tin Hon. IEEE/CAA Journal of Automatica Sinica. 2017(01)
[5]基于opentsdb的分布式实时监控方案[J]. 杨帆. 福建电脑. 2016(11)
[6]分布式存储系统中改进的一致性哈希算法[J]. 王康,李东静,陈海光. 计算机技术与发展. 2016(07)
[7]循环数据库服务的设计与实现[J]. 郭伟. 数字技术与应用. 2016(03)
[8]高并发下的大数据处理架构探索与实践[J]. 罗芸,张晓川,朱建中. 电信网技术. 2013(07)
[9]Redis在高速缓存系统中的应用[J]. 曾超宇,李金香. 微型机与应用. 2013(12)
[10]海量存储系统的性能管理与监测方法研究[J]. 李超,梁阿磊,管海兵,李小勇. 计算机应用与软件. 2012(07)
本文编号：3278007
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3278007.html
