Hadoop平台的监控与优化
发布时间：2021-10-12 08:37
随着计算机与移动互联网技术的蓬勃发展,我们已经进入了一个数据量呈爆炸性增长的年代。像社交网络、电商交易、互联网金融和生物健康这些行业在社会活动中正源源不断地产生大量的、结构复杂的数据资源。人们希望能够从这些大量的、且与用户行为密切相关的数据资源中得到有用的信息,从而改善人们的生活方式,提升生活品质。在如此强烈的市场需求下,Hadoop作为一种先进的大数据处理工具越来越受到学者的关注,已经逐渐被应用于各个领域,帮助企业完成各类的大数据处理需求。然而,大多数平台节点都是廉价的机器,随着平台规模的增长,如何高效的管理与维护平台,保证平台稳定高效地工作已经成为众多用户和学者所面临的一个大问题。所以Hadoop的监控和优化也逐渐成为了众多学者和用户研究的热门之一。本文首先介绍了Hadoop的基本概念,对当前主要的分布式监控系统以及监控技术进行了概述,详细介绍了分布式计算平台监控系统的功能需求,架构设计以及关键技术核心。然后从不同角度分析了优化Hadoop平台的方法,详细介绍了Hadoop配置参数优化方法。主要内容包括:针对单一监控工具无法满足监控需求的问题,本文在Nagios监控工具的基础上,使...
【文章来源】：长江大学湖北省
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
localhost的流量配置内容Figure3-5trafficconfigurationcontentoflocalhost
第3章Hadoop平台的监控系统27图3-6Hadoop平台的监控界面Figure3-6monitoringinterfaceofHadoopplatform1）hadoop1节点监控，图3-7是hadoop1在执行pingbaidu.com命令时，监控对象的监控数据及状态（流量为报警状态WARNING，其余服务器监控指标状态为OK）；图3-8是取消ping命令且关闭部分进程时，流量报警解除的监控界面（服务器监控指标状态为OK）；据此可知每个监控指标的工作状态为“OK”、“WARNING”或“CRITICAL”，还可得出每个节点资源的利用率。图3-7hadoop1节点的监控界面1Figure3-7monitoringinterface1ofHadoop1node图3-8hadoop1节点的监控界面2Figure3-8monitoringinterface2ofHadoop1node2）流量可视化结果图3-9展示了在一段时间内，每个监控对象的工作状态为“OK”、“WARNING”或“CRITICAL”，其中，Warning100.000000和Critical200.000000对应图3-5所设置的平均带宽门限阈值；据此可分析出现异常状态的原因，预测监控对象未来的工作状态，及时预防异常状态的发生，更好的管理平台。
第3章Hadoop平台的监控系统27图3-6Hadoop平台的监控界面Figure3-6monitoringinterfaceofHadoopplatform1）hadoop1节点监控，图3-7是hadoop1在执行pingbaidu.com命令时，监控对象的监控数据及状态（流量为报警状态WARNING，其余服务器监控指标状态为OK）；图3-8是取消ping命令且关闭部分进程时，流量报警解除的监控界面（服务器监控指标状态为OK）；据此可知每个监控指标的工作状态为“OK”、“WARNING”或“CRITICAL”，还可得出每个节点资源的利用率。图3-7hadoop1节点的监控界面1Figure3-7monitoringinterface1ofHadoop1node图3-8hadoop1节点的监控界面2Figure3-8monitoringinterface2ofHadoop1node2）流量可视化结果图3-9展示了在一段时间内，每个监控对象的工作状态为“OK”、“WARNING”或“CRITICAL”，其中，Warning100.000000和Critical200.000000对应图3-5所设置的平均带宽门限阈值；据此可分析出现异常状态的原因，预测监控对象未来的工作状态，及时预防异常状态的发生，更好的管理平台。
【参考文献】：
期刊论文
[1]文本情感分析方法对比研究[J]. 丁森华,邵佳慧,李春艳,杨枝蕊. 广播电视信息. 2020(04)
[2]基于JMX技术的分布式工作流系统的研究与实现[J]. 吴占锋. 江西科学. 2019(05)
[3]使用Zabbix监控服务器[J]. 郭建伟. 网络安全和信息化. 2019(07)
[4]HBase数据库模式设计准则[J]. 袁晓东. 微型电脑应用. 2018(10)
[5]基于Nagios和Cacti的集中运维监控系统的研究[J]. 张鹏. 现代信息科技. 2018(06)
[6]MRTG架构下的校园网络监控平台的应用[J]. 廖国平. 电子技术与软件工程. 2017(22)
[7]大数据下教务管理数据分析系统的研究与设计[J]. 何思桥. 数字技术与应用. 2017(11)
[8]基于Ambari的Hadoop集群部署实验的设计与实现[J]. 唐磊. 信息记录材料. 2017(11)
[9]基于Matlab的遗传算法在结构优化设计中的应用[J]. 吴立华,白洁,左亚军,谭国所,刘永福,李克天. 机电工程技术. 2017(10)
[10]基于HDFS的煤炭企业云存储平台设计[J]. 谭冬平. 煤炭技术. 2017(09)
硕士论文
[1]基于Zabbix的云监控系统的设计与实现[D]. 王富康.西安电子科技大学 2019
[2]网站异常变化监测系统的研究与实现[D]. 吴阳.辽宁大学 2017
[3]Hadoop环境下近似概念格的并行构造算法研究[D]. 谭富林.昆明理工大学 2017
[4]Hadoop数据分析平台性能监控与分析[D]. 凌艳.北京邮电大学 2017
[5]面向车载信息的大规模数据处理平台技术研究[D]. 张杰.电子科技大学 2016
[6]基于机器学习的Hadoop参数调优方法[D]. 童颖.华中科技大学 2016
[7]基于Hadoop平台的冠字号查询系统设计及实现[D]. 黄伟洲.华南理工大学 2016
[8]基于规则引擎Drools的企业营销系统的设计与实现[D]. 张乐.东南大学 2016
[9]基于Hadoop的MapReduce计算模型优化与应用研究[D]. 李张永.武汉科技大学 2015
[10]Hadoop集群实时性能监控及I/O性能优化研究[D]. 朱乔.湖南大学 2015
本文编号：3432239
【文章来源】：长江大学湖北省
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
localhost的流量配置内容Figure3-5trafficconfigurationcontentoflocalhost
第3章Hadoop平台的监控系统27图3-6Hadoop平台的监控界面Figure3-6monitoringinterfaceofHadoopplatform1）hadoop1节点监控，图3-7是hadoop1在执行pingbaidu.com命令时，监控对象的监控数据及状态（流量为报警状态WARNING，其余服务器监控指标状态为OK）；图3-8是取消ping命令且关闭部分进程时，流量报警解除的监控界面（服务器监控指标状态为OK）；据此可知每个监控指标的工作状态为“OK”、“WARNING”或“CRITICAL”，还可得出每个节点资源的利用率。图3-7hadoop1节点的监控界面1Figure3-7monitoringinterface1ofHadoop1node图3-8hadoop1节点的监控界面2Figure3-8monitoringinterface2ofHadoop1node2）流量可视化结果图3-9展示了在一段时间内，每个监控对象的工作状态为“OK”、“WARNING”或“CRITICAL”，其中，Warning100.000000和Critical200.000000对应图3-5所设置的平均带宽门限阈值；据此可分析出现异常状态的原因，预测监控对象未来的工作状态，及时预防异常状态的发生，更好的管理平台。
第3章Hadoop平台的监控系统27图3-6Hadoop平台的监控界面Figure3-6monitoringinterfaceofHadoopplatform1）hadoop1节点监控，图3-7是hadoop1在执行pingbaidu.com命令时，监控对象的监控数据及状态（流量为报警状态WARNING，其余服务器监控指标状态为OK）；图3-8是取消ping命令且关闭部分进程时，流量报警解除的监控界面（服务器监控指标状态为OK）；据此可知每个监控指标的工作状态为“OK”、“WARNING”或“CRITICAL”，还可得出每个节点资源的利用率。图3-7hadoop1节点的监控界面1Figure3-7monitoringinterface1ofHadoop1node图3-8hadoop1节点的监控界面2Figure3-8monitoringinterface2ofHadoop1node2）流量可视化结果图3-9展示了在一段时间内，每个监控对象的工作状态为“OK”、“WARNING”或“CRITICAL”，其中，Warning100.000000和Critical200.000000对应图3-5所设置的平均带宽门限阈值；据此可分析出现异常状态的原因，预测监控对象未来的工作状态，及时预防异常状态的发生，更好的管理平台。
【参考文献】：
期刊论文
[1]文本情感分析方法对比研究[J]. 丁森华,邵佳慧,李春艳,杨枝蕊. 广播电视信息. 2020(04)
[2]基于JMX技术的分布式工作流系统的研究与实现[J]. 吴占锋. 江西科学. 2019(05)
[3]使用Zabbix监控服务器[J]. 郭建伟. 网络安全和信息化. 2019(07)
[4]HBase数据库模式设计准则[J]. 袁晓东. 微型电脑应用. 2018(10)
[5]基于Nagios和Cacti的集中运维监控系统的研究[J]. 张鹏. 现代信息科技. 2018(06)
[6]MRTG架构下的校园网络监控平台的应用[J]. 廖国平. 电子技术与软件工程. 2017(22)
[7]大数据下教务管理数据分析系统的研究与设计[J]. 何思桥. 数字技术与应用. 2017(11)
[8]基于Ambari的Hadoop集群部署实验的设计与实现[J]. 唐磊. 信息记录材料. 2017(11)
[9]基于Matlab的遗传算法在结构优化设计中的应用[J]. 吴立华,白洁,左亚军,谭国所,刘永福,李克天. 机电工程技术. 2017(10)
[10]基于HDFS的煤炭企业云存储平台设计[J]. 谭冬平. 煤炭技术. 2017(09)
硕士论文
[1]基于Zabbix的云监控系统的设计与实现[D]. 王富康.西安电子科技大学 2019
[2]网站异常变化监测系统的研究与实现[D]. 吴阳.辽宁大学 2017
[3]Hadoop环境下近似概念格的并行构造算法研究[D]. 谭富林.昆明理工大学 2017
[4]Hadoop数据分析平台性能监控与分析[D]. 凌艳.北京邮电大学 2017
[5]面向车载信息的大规模数据处理平台技术研究[D]. 张杰.电子科技大学 2016
[6]基于机器学习的Hadoop参数调优方法[D]. 童颖.华中科技大学 2016
[7]基于Hadoop平台的冠字号查询系统设计及实现[D]. 黄伟洲.华南理工大学 2016
[8]基于规则引擎Drools的企业营销系统的设计与实现[D]. 张乐.东南大学 2016
[9]基于Hadoop的MapReduce计算模型优化与应用研究[D]. 李张永.武汉科技大学 2015
[10]Hadoop集群实时性能监控及I/O性能优化研究[D]. 朱乔.湖南大学 2015
本文编号：3432239
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3432239.html
最近更新
教材专著
