高性能MapReduce系统的优化
发布时间：2023-07-27 07:30
近年来,以多核集群为主流架构的高性能计算机成为高性能计算的主要硬件支撑平台。而共享变量和消息传递是最常用的两类并行编程模型。但其对并行的描述与表达层次较低。开发者在使用它们时,必须花费许多时间和精力来熟悉并显式地使用它们所提供的各种同步、通信原语,借此来组织并行任务之间的协作关系。 而MapReduce并行模型是一种高度抽象、编写串行程序可以自动并行运行、编程接口简单的并行编程模型。它能使程序员在比较高的抽象层次上以一种更易理解和更易使用的方式来表述并行计算问题。HPMR是我实验室为了推广MapReduce模型而设计开发的面向高性能计算的MapReduce系统,支持大规模计算的任务分配和自动并行。 目前HPMR的系统性能与直接使用MPI编程还有差距。为了使其更具有实用性,本文结合几种常用的优化技术对该系统展开优化。主要从以下几个方面开展工作: (1)从HPMR系统高性能计算程序的通信特征出发,把处理器底层体系结构中分支预测与推测执行思想引入到HPMR的通信优化中,设计了优化的通信模型。 HPMR程序的通信特征是每一轮的KV传输以高概率使用上一轮的KV路由表。这就使得一些MR过程的KV路...
【文章页数】：68 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
目录
第1章 绪论
1.1 传统并行编程模型以及Mapreduce 并行模型
1.1.1 并行计算机体系结构
1.1.2 传统并行编程模型
1.1.3 并行编程开发环境现状及问题
1.2 MapReduce 并行编程模型简介
1.2.1 MapReduce 的来源
1.2.2 MapReduce 模型的优点
1.3 HPMR 系统简介
1.3.1 MapReduce 系统研究现状
1.3.2 HPMR 概述
1.3.3 HPMR 执行流程
1.4 本文工作和章节安排
1.4.1 本文的工作内容
1.4.2 本文的组织
第2章 优化技术研究现状
2.1 概述
2.2 串行优化技术简介
2.2.1 底层系统结构
2.2.2 编译优化
2.2.3 程序优化
2.3 并行优化技术
2.3.1 并行优化概述
2.3.2 重叠技术
2.4 并行度量模型
2.5 本章小结
第3章 基于通信特征的HPMR 通信模型的设计
3.1 概述
3.2 HPMR 通信模块介绍
3.3 推测执行下的通信模型的设计
3.3.1 高性能计算的HPMR 的KV 路由变化规律
3.3.2 推测执行下的通信模型
3.4 推测执行技术的实现
3.4.1 判断推测算法
3.4.2 推测失败数据恢复机制
3.4.3 推测执行模型下对任务管理模块的影响
3.5 HPMR 程序的通信时间复杂度分析
3.6 推测执行技术下的通信性能
3.6.1 测试平台
3.6.2 固定路由模式
3.6.3 变化路由模式
3.7 本章小结
第4章 HPMR 系统的内存管理优化
4.1 概述
4.2 HPMR 数据管理模块及其缺点
4.2.1 HPMR 的数据管理模块的功能
4.2.2 数据管理的缺点
4.3 基于内存池管理数据模块的HPMR 设计
4.3.1 内存池基本数据结构
4.3.2 基于内存池的数据容器
4.4 新的数据管理模块下HPMR 的构建
4.4.1 多种Data 类型的block 块的构建
4.4.2 Map 和Reduce 的实现
4.4.3 基于内存池数据模块的HPMR 的数据拷贝分析
4.4.4 数据模块拷贝处理时间复杂度分析
4.5 内存池管理数据模块的优化效果
4.6 本章小结
第5章 基于集群通信的KV 路由表优化
5.1 概述
5.2 集群通信
5.2.1 集群通信
5.2.2 集群通信的优化算法
5.3 路由表中集群通信的识别
5.3.1 集群通信识别
5.3.2 集群通信识别下的KV 路由表的扩展表示
5.3.3 集群通信识别下的数据管理模块的功能扩展分析
5.4 本章小结
第6章 结束语
6.1 本文主要工作
6.2 本文主要贡献和创新点
6.3 进一步工作
参考文献
附录A 插图索引
附录B 表格索引
致谢
参加的科研项目和发表的论文
本文编号：3837598
【文章页数】：68 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
目录
第1章 绪论
1.1 传统并行编程模型以及Mapreduce 并行模型
1.1.1 并行计算机体系结构
1.1.2 传统并行编程模型
1.1.3 并行编程开发环境现状及问题
1.2 MapReduce 并行编程模型简介
1.2.1 MapReduce 的来源
1.2.2 MapReduce 模型的优点
1.3 HPMR 系统简介
1.3.1 MapReduce 系统研究现状
1.3.2 HPMR 概述
1.3.3 HPMR 执行流程
1.4 本文工作和章节安排
1.4.1 本文的工作内容
1.4.2 本文的组织
第2章 优化技术研究现状
2.1 概述
2.2 串行优化技术简介
2.2.1 底层系统结构
2.2.2 编译优化
2.2.3 程序优化
2.3 并行优化技术
2.3.1 并行优化概述
2.3.2 重叠技术
2.4 并行度量模型
2.5 本章小结
第3章 基于通信特征的HPMR 通信模型的设计
3.1 概述
3.2 HPMR 通信模块介绍
3.3 推测执行下的通信模型的设计
3.3.1 高性能计算的HPMR 的KV 路由变化规律
3.3.2 推测执行下的通信模型
3.4 推测执行技术的实现
3.4.1 判断推测算法
3.4.2 推测失败数据恢复机制
3.4.3 推测执行模型下对任务管理模块的影响
3.5 HPMR 程序的通信时间复杂度分析
3.6 推测执行技术下的通信性能
3.6.1 测试平台
3.6.2 固定路由模式
3.6.3 变化路由模式
3.7 本章小结
第4章 HPMR 系统的内存管理优化
4.1 概述
4.2 HPMR 数据管理模块及其缺点
4.2.1 HPMR 的数据管理模块的功能
4.2.2 数据管理的缺点
4.3 基于内存池管理数据模块的HPMR 设计
4.3.1 内存池基本数据结构
4.3.2 基于内存池的数据容器
4.4 新的数据管理模块下HPMR 的构建
4.4.1 多种Data 类型的block 块的构建
4.4.2 Map 和Reduce 的实现
4.4.3 基于内存池数据模块的HPMR 的数据拷贝分析
4.4.4 数据模块拷贝处理时间复杂度分析
4.5 内存池管理数据模块的优化效果
4.6 本章小结
第5章 基于集群通信的KV 路由表优化
5.1 概述
5.2 集群通信
5.2.1 集群通信
5.2.2 集群通信的优化算法
5.3 路由表中集群通信的识别
5.3.1 集群通信识别
5.3.2 集群通信识别下的KV 路由表的扩展表示
5.3.3 集群通信识别下的数据管理模块的功能扩展分析
5.4 本章小结
第6章 结束语
6.1 本文主要工作
6.2 本文主要贡献和创新点
6.3 进一步工作
参考文献
附录A 插图索引
附录B 表格索引
致谢
参加的科研项目和发表的论文
本文编号：3837598
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3837598.html
