基于容器的Hadoop集群能耗优化系统设计与实现
发布时间：2023-04-01 08:55
伴随着网络技术的发展和进步,网络中的数据量产生了爆发式增长,促使了一批专门用来处理和存储大数据的分布式系统的出现和发展,Hadoop大数据平台就是其中最著名的一员。而近些年为了应对海量数据的压力,人们选择了具有强大计算能力的GPU。自此,分布式系统尤其是拥有多个GPU的分布式系统的地位越来越高,在人们享受这些分布式系统带来的便利的同时,其能耗问题也称为了人们关注的重点。由于最初设计Hadoop时没有将节能问题考虑进来,导致在Hadoop集群运行之后能耗过高的问题比较严重。最近,Hadoop又提出了使用GPU处理任务的解决方案,而GPU能耗占节点总能耗的比重不容小视,这加剧了Hadoop集群能耗过高的问题。因此研究如何减少Hadoop集群的能耗对于提高互联网企业的效益乃至响应国家节能减排的号召都有着极其重要的意义。本文通过对Hadoop平台整体架构以及运行机制进行深入剖析,将Hadoop集群拆分为HDFS集群和YARN集群,同时使用Docker容器技术将集群的各个节点进行封装,便于实现对Hadoop节点的操作完成节能的目的。接着基于容器编排平台Kubernetes实现了Hadoop集群的...
【文章页数】：78 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 课题来源
1.2 课题研究背景及意义
1.3 国内外研究现状
1.3.1 硬件层面节能技术
1.3.2 软件层面节能技术
1.3.3 研究现状的分析及存在的问题
1.4 本文研究内容及组织结构
1.4.1 本文主要研究内容
1.4.2 本文结构安排
第2章 系统需求分析与设计
2.1 能耗优化系统设计前提
2.1.1 集群服务器能耗分析
2.1.2 集群服务器能耗建模
2.1.3 集群能耗的优化思路
2.2 能耗优化系统的需求分析
2.2.1 系统功能性需求
2.2.2 系统非功能性需求
2.3 能耗优化系统的设计
2.3.1 能耗优化系统总体设计
2.3.2 集群管理模块设计
2.3.3 镜像管理模块设计
2.3.4 调度管理模块设计
2.3.5 监控管理模块设计
2.3.6 节能管理模块设计
2.4 本章小结
第3章 Hadoop集群的容器化实现
3.1 Docker容器相关技术
3.1.1 Docker容器技术
3.1.2 Docker总体架构
3.1.3 Docker容器的优势
3.2 Kubernetes容器编排平台
3.2.1 Kubernetes概述
3.2.2 Kubernetes系统架构
3.3 Hadoop集群的容器化
3.3.1 容器的网络模型
3.3.2 Flannel实现集群跨主机网络
3.3.3 Hadoop节点容器通信的实现
3.3.4 HDFS集群的容器化实现
3.3.5 YARN集群的容器化实现
3.4 本章小结
第4章 Hadoop集群能耗优化系统的实现
4.1 Hadoop集群管理的实现
4.2 镜像管理模块的实现
4.3 Hadoop工作节点调度的实现
4.3.1 工作节点调度架构
4.3.2 预选调度和优选调度的实现
4.3.3 面向GPU的亲和性调度功能的实现
4.4 资源监控系统的实现
4.4.1 监控系统的具体实现
4.4.2 监控系统适配器的实现
4.5 Hadoop节点节能伸缩功能的实现
4.5.1 基于Kubernetes的弹性伸缩框架
4.5.2 Hadoop节点节能伸缩的实现
4.6 Hadoop能耗优化完整流程
4.7 本章小结
第5章 系统测试与结果分析
5.1 系统的测试环境
5.1.1 测试环境硬件配置
5.1.2 测试环境软件配置
5.2 系统功能测试
5.2.1 Hadoop平台管理功能测试
5.2.2 镜像管理模块功能测试
5.2.3 Hadoop节能伸缩功能测试
5.3 系统性能测试
5.3.1 基准测试程序简介
5.3.2 性能测试结果分析
5.4 节能效果仿真实验
5.4.1 Cloud Sim仿真平台介绍
5.4.2 仿真实验相关参数
5.4.3 仿真结果与分析
5.5 本章小结
结论
参考文献
攻读硕士学位期间发表的论文及其它成果
致谢
本文编号：3776841
【文章页数】：78 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 课题来源
1.2 课题研究背景及意义
1.3 国内外研究现状
1.3.1 硬件层面节能技术
1.3.2 软件层面节能技术
1.3.3 研究现状的分析及存在的问题
1.4 本文研究内容及组织结构
1.4.1 本文主要研究内容
1.4.2 本文结构安排
第2章 系统需求分析与设计
2.1 能耗优化系统设计前提
2.1.1 集群服务器能耗分析
2.1.2 集群服务器能耗建模
2.1.3 集群能耗的优化思路
2.2 能耗优化系统的需求分析
2.2.1 系统功能性需求
2.2.2 系统非功能性需求
2.3 能耗优化系统的设计
2.3.1 能耗优化系统总体设计
2.3.2 集群管理模块设计
2.3.3 镜像管理模块设计
2.3.4 调度管理模块设计
2.3.5 监控管理模块设计
2.3.6 节能管理模块设计
2.4 本章小结
第3章 Hadoop集群的容器化实现
3.1 Docker容器相关技术
3.1.1 Docker容器技术
3.1.2 Docker总体架构
3.1.3 Docker容器的优势
3.2 Kubernetes容器编排平台
3.2.1 Kubernetes概述
3.2.2 Kubernetes系统架构
3.3 Hadoop集群的容器化
3.3.1 容器的网络模型
3.3.2 Flannel实现集群跨主机网络
3.3.3 Hadoop节点容器通信的实现
3.3.4 HDFS集群的容器化实现
3.3.5 YARN集群的容器化实现
3.4 本章小结
第4章 Hadoop集群能耗优化系统的实现
4.1 Hadoop集群管理的实现
4.2 镜像管理模块的实现
4.3 Hadoop工作节点调度的实现
4.3.1 工作节点调度架构
4.3.2 预选调度和优选调度的实现
4.3.3 面向GPU的亲和性调度功能的实现
4.4 资源监控系统的实现
4.4.1 监控系统的具体实现
4.4.2 监控系统适配器的实现
4.5 Hadoop节点节能伸缩功能的实现
4.5.1 基于Kubernetes的弹性伸缩框架
4.5.2 Hadoop节点节能伸缩的实现
4.6 Hadoop能耗优化完整流程
4.7 本章小结
第5章 系统测试与结果分析
5.1 系统的测试环境
5.1.1 测试环境硬件配置
5.1.2 测试环境软件配置
5.2 系统功能测试
5.2.1 Hadoop平台管理功能测试
5.2.2 镜像管理模块功能测试
5.2.3 Hadoop节能伸缩功能测试
5.3 系统性能测试
5.3.1 基准测试程序简介
5.3.2 性能测试结果分析
5.4 节能效果仿真实验
5.4.1 Cloud Sim仿真平台介绍
5.4.2 仿真实验相关参数
5.4.3 仿真结果与分析
5.5 本章小结
结论
参考文献
攻读硕士学位期间发表的论文及其它成果
致谢
本文编号：3776841
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3776841.html
