面向稀疏数据的GPU程序优化技术研究

发布时间：2021-02-11 03:05

　　随着信息技术的不断发展,计算机需要处理的数据量和任务量日益增多,为了提高计算机程序的运行速度,越来越多的公司、科研机构开始通过结合中央处理器（CPU）和图形处理器（GPU）的技术设计高性能的并行应用程序。近年来,GPU已经广泛部署在数据中心、高性能计算中心等大型计算集群中,许多智能手机、自动驾驶汽车、智能摄像头等嵌入式设备也集成了GPU。NVIDIA、AMD等GPU厂商提供了CUDA、OpenCL等GPU编程平台和语言,让用户能够更加方便地编写GPU并行程序。但由于GPU与CPU的体系结构存在较大差异,编写高性能的GPU程序往往需要一定的经验和优化技巧,这使得普通用户编写的程序往往还有较大的优化空间。为了充分利用深度学习、数据挖掘等场景中常见的数据稀疏性,本文对面向稀疏数据的GPU程序优化技术进行了深入的研究。本文首先提出了一种面向稀疏数据的GPU程序优化思路,主要包含立即数替换和稀疏常量优化两种策略,通过对基于源代码、目标代码进行程序优化的过程进行分析,阐述了基于目标代码的程序优化方法的优势。为了在目标代码层次进行稀疏数据的替换,设计了一种基于模板的立即数替换方法,通过在源代码中设置... 

【文章来源】：吉林大学吉林省 211工程院校 985工程院校 教育部直属院校

【文章页数】：81 页

【学位级别】：硕士

【部分图文】：

LeNet-5参数稀疏程度变化趋势

由于参数是浮点型变量，本实验假定参数小于 0.00001 时将其看作 0 元素来处理，图4.3 对这种近似策略的影响进行了评估，（a）中对比了近似策略和原始训练过程的 Loss 值变化趋势，（b）中对比了近似策略和原始训练过程的预测结果准确率


本文编号：3028419