运用GPU计算面向非规则应用的非合并内存访问优化（英文）

发布时间：2021-07-27 08:37

　　通用图形处理器（GPGPU）可大大提升规则应用的计算性能。然而,很多应用中存在非规则内存访问模式,大大限制了GPU的性能优势。近年来,一些研究提出解决方案来移除静态非规则内存访问。然而,利用软件消除动态非规则内存访问仍然面临严峻挑战。本文提出一种纯软件解决方案用于消除动态非规则内存访问,尤其是间接内存访问,无需硬件扩展和离线分析。提出数据重组和索引重定向以减少内存访问次数,从而提高GPU内核性能。为提高数据重组效率,卸载重组数据操作至GPU以降低开销并传输数据。通过并发执行数据重组和数据处理内核的统一计算设备架构（CUDA）流,可降低数据重组开销。完成这些优化后,相比于CUSPARSE基准测试,使用该方法GPU内核的内存数据传输减少了16.7%–50%;同时,NVIDIA Tesla P4 GPU上的内核性能提高了9.64%–34.9%。 

【文章来源】：Frontiers of Information Technology & Electronic Engineering. 2020,21(09)EISCICSCD

【文章页数】：18 页

【文章目录】：
1 Introduction
2 Related work
3 System analysis and design
    3.1 Analysis of memory access pattern
    3.2 Data reordering with CPU and GPU
    3.3 System design
4 Irregularity elimination
    4.1 Data reordering
    4.2 Index redirection
5 Overhead optimization
    5.1 Overlapping remapping with computa-tion
    5.2 Cache
6 Experiments and evaluation
    6.1 Experimental setup
    6.2 Benefits of data reordering on GPU
        6.2.1 Reduction of the number of memory transac-tions
        6.2.2 Data reordering varying from CPU to GPU
    6.3 Performance optimization with overlap and cache
        6.3.1 Evaluation of the CG program
        6.3.2 Evaluation of the SP program
        6.3.3 Evaluation of the MD program
    6.4 Overview of results
7 Conclusions



本文编号：3305444