Hadoop集群监控系统的设计与实现

发布时间：2021-11-17 11:04

　　近年来云计算飞速发展，分布式集群系统也被广泛应用，发展云计算技术已经成为国家抢占经济和科技发展制高点的核心战略选择，研究和发展云计算技术、将原有信息化建设基础设施向云计算平台迁移，是未来十年政府信息化建设的主流方向，Hadoop集群成为IT界众多大公司的应用热点之一。由于Hadoop集群是由众多计算机组成的集群这一特点，对于该计算机集群的监控、管理就成为了一大难点。为了能及时发现集群中的问题，较短的时间内采取相应的措施，Hadoop集群管理员需要不停地采集性能数据，分析各个节点的状态，并准确发现节点上出了什么问题，这就需要Hadoop集群监控系统来进行辅助。而Hadoop集群如此大的数据量，监控数据的存储也会成为一大问题，这就需要对分布式系统和非关系型数据库进行研究和结合，来处理这个问题。本文主要设计并完成开发Hadoop集群监控系统，该监控系统对Hadoop集群系统中节点进行性能监控、分布式文件系统监控以及作业任务监控，为了方便Hadoop集群管理员对集群中的节点进行实时管理，系统将会在web页面上实时展现相关监控信息。监控系统将运用Cacti开源集群监控工具对节点性能进行采集。现有... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：57 页

【学位级别】：硕士

【部分图文】：

基于云平台的数据挖掘基础结构

J2EE架构图

HDFS总体结构示意图

【参考文献】：
期刊论文
[1]分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析[J]. 许春玲,张广泉.  苏州大学学报(工科版). 2010(04)
[2]基于Struts框架的Web应用开发技术研究[J]. 郭广军,羊四清,戴经国,刘永逸.  计算机应用与软件. 2007(09)
[3]关系数据库查询优化方法研究[J]. 谷震离.  微计算机信息. 2006(15)
[4]高可用性集群数据库服务器研究与实现[J]. 闫斌,徐红兵,周小佳,洪波.  计算机应用研究. 2005(12)
[5]基于读写特征的分布式互斥算法[J]. 刘丹,刘心松,丘志杰,邱元杰.  电子学报. 2004(02)
[6]J2EE平台上MVC设计模式的研究与实现[J]. 陆荣幸,郁洲,阮永良,王志强.  计算机应用研究. 2003(03)

硕士论文
[1]基于MongoDB的云监控设计与应用[D]. 蔡柳青.北京交通大学 2011
[2]云计算平台监控系统的研究与应用[D]. 张棋胜.北京交通大学 2011
[3]面向云存储的分布式文件系统关键技术研究[D]. 赵黎斌.西安电子科技大学 2011
[4]基于JMX的监控系统研究与实现[D]. 晏雪松.西南交通大学 2007



本文编号：3500782