面向实时监控系统的计算平台的设计与实现
发布时间：2020-12-29 05:43
信息时代飞速发展,单台服务器的部署模式已经很难满足大中型企业的业务需求,取而代之的是服务器的集群部署模式。服务器集群规模扩大的同时,集群的运维面临着挑战。运维依赖于监控,而计算是监控系统中最重要的模块,当今的运维环境,直接对监控计算平台的功能、成本、性能、实时性及可靠性等各方面都提出了新的要求。经过对服务器集群监控的计算需求进行深入分析,发现可以将大数据等相关技术应用到监控计算领域,即用多台计算机对海量的监控原始数据进行并行的计算处理。先从目前业界盛行的开源并行计算框架Hadoop MapReduce和Spark着手,分析它们的设计思想和基本实现,以及IO、并行化、容错等方面的实现和优化方案。随后介绍适合监控环境下使用的高性能计算平台的设计与实现。以监控领域内的计算需求作为驱动,结合上述开源并行计算框架,引申出本计算平台的架构设计和基本工作原理,然后介绍本计算平台如何在插件化设计的基础上,构建出用于解决不同监控问题的功能插件,以实现对应的监控计算功能。功能实现之后,从性能优化的角度出发,分析计算平台在线程与调度、输入共享、容错等方面的设计与实现。在对该计算平台进行研讨和试验之后,发现该...
【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】：62 页
【学位级别】：硕士
【部分图文】：
YARN集群架构
图 2-2 窄依赖与宽依赖示例从图 2-2 可以看到，对于宽依赖，在 transformation 过程中一个父 RDD 分区往会被传入子 RDD 的多个分区，这种涉及到跨节点网络传输的转换被称fle 操作。窄依赖的过程中不涉及 shuffle 操作，因为父 RDD 的每个分区的传入到一个子 RDD 的分区[35]。 基于 RDD 的容错机制既然 lineage 描述了 RDD 之间的转换方式，那么它可以用来对丢失数据的进行重塑以恢复数据，例如有这样一个依赖关系：RDD_A =map()=> RDD_B =filter()=> RDD_C那么，假设 RDD_B 的某个分区的数据丢失，可以根据其父 RDD 即 RDD分区数据进行计算以重塑丢失的 RDD_B 的分区数据。对于 RDD 之间依赖同，容错机制的效率也有一定区别。窄依赖中重塑操作对数据的利用率是
图 2-3 宽依赖容错中的冗余计算界流行的并行计算框架 Map-Reduce 和 Spark 进入、并行实现和任务管理与容错等方面的设计与算模式，将作业抽象为 “映射”和“归约”两个环了更多的计算算子，以实现迭代式的编程模式。M 生态体系下的 HDFS 结合，原始数据具备多个副p-Reduce 和 Spark 都可以实现数据本地化，即将，以避免原始数据的网络传输。对于任务管理与RN，而 Spark 基于 RDD 之间的族谱血统关系。
【参考文献】：
期刊论文
[1]自动化运维管理平台设计及实现[J]. 冷迪. 技术与市场. 2018(11)
[2]大数据处理平台性能优化探究[J]. 李天卓,魏宾宾,杨超,杨新凯. 电信快报. 2018(10)
[3]Spark大数据计算平台[J]. 姜学军,武枫,黄海新. 电子世界. 2018(15)
[4]Spark性能优化技术研究综述[J]. 廖湖声,黄珊珊,徐俊刚,刘仁峰. 计算机科学. 2018(07)
[5]运维监控平台面临的瓶颈与发展方向[J]. 李晓林,严峻,陈国华,张明强,廖剑雄. 数字通信世界. 2018(07)
[6]IT计算机数据中心智能化运维监控及能效管理的探索与研究[J]. 徐建波. 电子世界. 2018(09)
[7]面向集群服务器系统的监控平台综述[J]. 胡鹤,赵毅,牛铁,曹荣强. 科研信息化技术与应用. 2018(01)
[8]日志综合管理平台基于Storm框架的实现[J]. 李团结,从新法,李光明. 中国新通信. 2017(06)
[9]Apache Spark技术研究与应用前景分析[J]. 李玮. 电信技术. 2016(09)
[10]服务器监控技术综述及展望[J]. 王慧强,戴秀豪,吕宏武,林俊宇. 计算机科学. 2016(08)
博士论文
[1]面向大型分布式系统的智能监控系统设计与实现[D]. 段立明.中国科学院大学(中国科学院沈阳计算技术研究所) 2018
硕士论文
[1]服务器集群监控系统的设计与实现[D]. 朱瑞斌.北京交通大学 2015
本文编号：2945123
【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】：62 页
【学位级别】：硕士
【部分图文】：
YARN集群架构
图 2-2 窄依赖与宽依赖示例从图 2-2 可以看到，对于宽依赖，在 transformation 过程中一个父 RDD 分区往会被传入子 RDD 的多个分区，这种涉及到跨节点网络传输的转换被称fle 操作。窄依赖的过程中不涉及 shuffle 操作，因为父 RDD 的每个分区的传入到一个子 RDD 的分区[35]。 基于 RDD 的容错机制既然 lineage 描述了 RDD 之间的转换方式，那么它可以用来对丢失数据的进行重塑以恢复数据，例如有这样一个依赖关系：RDD_A =map()=> RDD_B =filter()=> RDD_C那么，假设 RDD_B 的某个分区的数据丢失，可以根据其父 RDD 即 RDD分区数据进行计算以重塑丢失的 RDD_B 的分区数据。对于 RDD 之间依赖同，容错机制的效率也有一定区别。窄依赖中重塑操作对数据的利用率是
图 2-3 宽依赖容错中的冗余计算界流行的并行计算框架 Map-Reduce 和 Spark 进入、并行实现和任务管理与容错等方面的设计与算模式，将作业抽象为 “映射”和“归约”两个环了更多的计算算子，以实现迭代式的编程模式。M 生态体系下的 HDFS 结合，原始数据具备多个副p-Reduce 和 Spark 都可以实现数据本地化，即将，以避免原始数据的网络传输。对于任务管理与RN，而 Spark 基于 RDD 之间的族谱血统关系。
【参考文献】：
期刊论文
[1]自动化运维管理平台设计及实现[J]. 冷迪. 技术与市场. 2018(11)
[2]大数据处理平台性能优化探究[J]. 李天卓,魏宾宾,杨超,杨新凯. 电信快报. 2018(10)
[3]Spark大数据计算平台[J]. 姜学军,武枫,黄海新. 电子世界. 2018(15)
[4]Spark性能优化技术研究综述[J]. 廖湖声,黄珊珊,徐俊刚,刘仁峰. 计算机科学. 2018(07)
[5]运维监控平台面临的瓶颈与发展方向[J]. 李晓林,严峻,陈国华,张明强,廖剑雄. 数字通信世界. 2018(07)
[6]IT计算机数据中心智能化运维监控及能效管理的探索与研究[J]. 徐建波. 电子世界. 2018(09)
[7]面向集群服务器系统的监控平台综述[J]. 胡鹤,赵毅,牛铁,曹荣强. 科研信息化技术与应用. 2018(01)
[8]日志综合管理平台基于Storm框架的实现[J]. 李团结,从新法,李光明. 中国新通信. 2017(06)
[9]Apache Spark技术研究与应用前景分析[J]. 李玮. 电信技术. 2016(09)
[10]服务器监控技术综述及展望[J]. 王慧强,戴秀豪,吕宏武,林俊宇. 计算机科学. 2016(08)
博士论文
[1]面向大型分布式系统的智能监控系统设计与实现[D]. 段立明.中国科学院大学(中国科学院沈阳计算技术研究所) 2018
硕士论文
[1]服务器集群监控系统的设计与实现[D]. 朱瑞斌.北京交通大学 2015
本文编号：2945123
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2945123.html
