当前位置:主页 > 科技论文 > 软件论文 >

基于内存与文件共享机制的Spark I/O性能优化

发布时间:2023-02-06 18:45
  通过对Spark采用的弹性分布式数据集及任务调度等关键技术进行分析,发现数据处理I/O时间是影响Spark计算性能的主要瓶颈。为此,研究Spark合并文件运行模式,该模式能够减少缓存文件数量,提高Spark的I/O效率,但存在内存开销较高的缺点。在此基础上,给出改进的Spark Shuffle过程,即通过设计一种使每个Mapper只生成一个缓存文件的运行模式,并且每个Mapper共享同一个内存缓冲区,从而提高I/O效率和减少内存开销。仿真结果表明,与Spark默认模式相比,该运行模式宽依赖计算过程的I/O时间缩短42.9%,可有效提高内存利用率和Spark平台运算效率。

【文章页数】:6 页

【文章目录】:
0概述
1 Spark内核关键技术
    1.1 RDD技术
    1.2 Spark任务调度
        1.2.1 Spark窄依赖过程
        1.2.2 Spark宽依赖过程
        1.2.3 Spark任务调度器
2 Spark宽依赖技术优化
3 仿真与性能分析
    3.1 I/O性能模拟
        3.1.1 仿真环境设置
        3.1.2 仿真结果分析
    3.2 实际运行结果
4 结束语



本文编号:3736418

资料下载
论文发表

本文链接:https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3736418.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户33ebe***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com