基于异构Spark集群的分区动态负载调度算法研究
发布时间：2021-02-14 01:02
随着大数据技术的发展,各种大数据处理框架不断出现。Spark是目前最主流的一种大数据处理计算框架。Spark支持内存计算,提供交互式计算和查询,支持丰富的数据操作,并提供数据挖掘,机器学习,流计算等服务。计算机集群的异构性是指集群中的计算机具有不同的硬件配置,从而使得这些计算机在Spark作业中的表现存在差异。云计算的发展和数据中心的使用使得集群更容易变得异构,机器学习的兴起使得集群可能存在混合CPU和GPU架构的计算机,从而使得集群变得异构。集群负载均衡是将作业或者任务分摊到多个计算单元进行执行,增加吞吐量,提高数据处理能力和可用性。为了进行资源隔离和资源复用,软件架构的运行时环境越来越复杂,Spark可能运行在复杂多变的负载环境下。通过分析Spark的源代码,发现两点问题:Spark的基于同构处理器核心数量的资源分配策略无法适应异构的集群环境;Spark的任务调度缺少基于负载的任务调度策略。为了对上述两点进行优化,本文提出一种基于异构Spark集群的分区动态负载调度算法。该算法由两部分组成,分别是基于区域的作业调度和根据动态负载的任务调度。基于区域的作业调度包括根据异构性将集群划分...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：86 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 研究工作的背景与意义
1.2 本文的主要贡献与创新
1.3 本论文的结构安排
第二章 相关技术与原理
2.1 Spark基本概念
2.1.1 Spark介绍
2.1.2 弹性分布式数据集
2.1.3 键值对操作
2.1.4 数据分区
2.1.5 RDD依赖关系
2.1.6 惰性求值
2.1.7 Spark调度策略
2.1.8 集群管理器
2.1.9 文件系统
2.2 Spark调度模型分析
2.2.1 Spark资源分配
2.2.2 划分Stage过程
2.2.3 Task调度过程
2.2.4 数据本地性
2.3 Spark通信模型分析
2.3.1 启动时通信
2.3.2 运行时通信
2.4 异构集群
2.5 负载均衡
2.6 本章小结
第三章 Spark调度算法优化研究
3.1 Spark调度问题分析
3.1.1 基于同构集群的CPU资源分配
3.1.2 忽略负载的任务调度
3.2 分区动态负载调度算法
3.2.1 整体流程
3.2.2 调度中心组件
3.2.3 通信模型分析
3.3 基于区域的作业调度
3.3.1 区域定义
3.3.2 区域划分策略
3.3.3 基于区域的资源分配策略
3.4 负载均衡的任务调度
3.4.1 Spark负载定义
3.4.2 负载更新规则
3.4.3 负载均衡任务调度
3.5 本章小结
第四章 实验与分析
4.1 实验环境和配置
4.1.1 硬件配置
4.1.2 软件环境
4.1.3 测试程序
4.1.4 影响因素
4.2 实验 1：集群异构性和区域划分实验
4.2.1 实验设计
4.2.2 实验结果分析
4.3 实验 2：区域调度实验
4.3.1 实验设计
4.3.2 实验结果分析
4.4 实验 3：负载均衡调度实验
4.4.1 实验 3-1 设计
4.4.2 实验 3-1 结果分析
4.4.3 实验 3-2 设计
4.4.4 实验 3-2 结果分析
4.5 实验 4：基于异构集群的分区动态负载调度实验
4.5.1 实验设计
4.5.2 实验结果分析
4.6 本章小结
第五章 总结与展望
5.1 论文总结
5.2 改进方向
致谢
参考文献
【参考文献】：
期刊论文
[1]异构Spark集群下自适应任务调度策略[J]. 杨志伟,郑烇,王嵩,杨坚,周乐乐. 计算机工程. 2016(01)
本文编号：3032865
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：86 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 研究工作的背景与意义
1.2 本文的主要贡献与创新
1.3 本论文的结构安排
第二章 相关技术与原理
2.1 Spark基本概念
2.1.1 Spark介绍
2.1.2 弹性分布式数据集
2.1.3 键值对操作
2.1.4 数据分区
2.1.5 RDD依赖关系
2.1.6 惰性求值
2.1.7 Spark调度策略
2.1.8 集群管理器
2.1.9 文件系统
2.2 Spark调度模型分析
2.2.1 Spark资源分配
2.2.2 划分Stage过程
2.2.3 Task调度过程
2.2.4 数据本地性
2.3 Spark通信模型分析
2.3.1 启动时通信
2.3.2 运行时通信
2.4 异构集群
2.5 负载均衡
2.6 本章小结
第三章 Spark调度算法优化研究
3.1 Spark调度问题分析
3.1.1 基于同构集群的CPU资源分配
3.1.2 忽略负载的任务调度
3.2 分区动态负载调度算法
3.2.1 整体流程
3.2.2 调度中心组件
3.2.3 通信模型分析
3.3 基于区域的作业调度
3.3.1 区域定义
3.3.2 区域划分策略
3.3.3 基于区域的资源分配策略
3.4 负载均衡的任务调度
3.4.1 Spark负载定义
3.4.2 负载更新规则
3.4.3 负载均衡任务调度
3.5 本章小结
第四章 实验与分析
4.1 实验环境和配置
4.1.1 硬件配置
4.1.2 软件环境
4.1.3 测试程序
4.1.4 影响因素
4.2 实验 1：集群异构性和区域划分实验
4.2.1 实验设计
4.2.2 实验结果分析
4.3 实验 2：区域调度实验
4.3.1 实验设计
4.3.2 实验结果分析
4.4 实验 3：负载均衡调度实验
4.4.1 实验 3-1 设计
4.4.2 实验 3-1 结果分析
4.4.3 实验 3-2 设计
4.4.4 实验 3-2 结果分析
4.5 实验 4：基于异构集群的分区动态负载调度实验
4.5.1 实验设计
4.5.2 实验结果分析
4.6 本章小结
第五章 总结与展望
5.1 论文总结
5.2 改进方向
致谢
参考文献
【参考文献】：
期刊论文
[1]异构Spark集群下自适应任务调度策略[J]. 杨志伟,郑烇,王嵩,杨坚,周乐乐. 计算机工程. 2016(01)
本文编号：3032865
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3032865.html
