基于内存与文件共享机制的Spark I/O性能优化
发布时间:2023-02-06 18:45
通过对Spark采用的弹性分布式数据集及任务调度等关键技术进行分析,发现数据处理I/O时间是影响Spark计算性能的主要瓶颈。为此,研究Spark合并文件运行模式,该模式能够减少缓存文件数量,提高Spark的I/O效率,但存在内存开销较高的缺点。在此基础上,给出改进的Spark Shuffle过程,即通过设计一种使每个Mapper只生成一个缓存文件的运行模式,并且每个Mapper共享同一个内存缓冲区,从而提高I/O效率和减少内存开销。仿真结果表明,与Spark默认模式相比,该运行模式宽依赖计算过程的I/O时间缩短42.9%,可有效提高内存利用率和Spark平台运算效率。
【文章页数】:6 页
【文章目录】:
0概述
1 Spark内核关键技术
1.1 RDD技术
1.2 Spark任务调度
1.2.1 Spark窄依赖过程
1.2.2 Spark宽依赖过程
1.2.3 Spark任务调度器
2 Spark宽依赖技术优化
3 仿真与性能分析
3.1 I/O性能模拟
3.1.1 仿真环境设置
3.1.2 仿真结果分析
3.2 实际运行结果
4 结束语
本文编号:3736418
【文章页数】:6 页
【文章目录】:
0概述
1 Spark内核关键技术
1.1 RDD技术
1.2 Spark任务调度
1.2.1 Spark窄依赖过程
1.2.2 Spark宽依赖过程
1.2.3 Spark任务调度器
2 Spark宽依赖技术优化
3 仿真与性能分析
3.1 I/O性能模拟
3.1.1 仿真环境设置
3.1.2 仿真结果分析
3.2 实际运行结果
4 结束语
本文编号:3736418
本文链接:https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3736418.html