基于GPU的Spark计算框架性能模型研究
发布时间：2021-01-14 09:54
机器学习、深度学习和数据分析工具的最新研究进展对现有的计算系统和体系结构提出了新的要求和挑战。为解决此问题,Spark开源大数据计算框架应运而生,它扩展了早前Map-Reduce编程框架,通过基于内存的计算模式,解决了Map-Reduce框架容错性差、I/O操作负载过高等性能瓶颈,优化了大数据计算中的批处理、交互查询和流式计算等核心问题,并与Hadoop及其生态圈完美兼容。当下,Spark受限于CPU有限的运算效率和内存空间,其应用需求与系统性能间差异日益加大,以CPU作为Spark的计算平台已无法满足高效运算的需求。而GPU较之CPU在高性能并行计算领域存在先天性的优势,通过利用GPU上的并行计算资源可大力提升Spark系统的任务处理效率。本文在深入理解Spark计算框架优势的基础上,实现了Spark框架下GPU并行计算的系统性能分析和流程建模。目前,针对基于GPU的Spark计算框架性能建模工作尚处于初始阶段,为了深层次地挖掘与分析基于GPU的Spark计算框架,因此本文提出了基于排队论的Spark+GPU系统建模方法,量化研究了Spark计算系统性能与GPU资源利用之间的相互关系...
【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
CPU-GPU结构示意图
图 1-1 CPU-GPU 结构示意图（2）成本低。GPU 在设计时专注于浮点计算，回避了与浮点计算无关的类似分支、逻辑控制等其他复杂功能，因此在制造成本上比较低。众核 GPU 协处理器仅需0 的成本即可达到与多核 CPU 同等的浮点运算能力。（3）功耗小。大量的轻量级微处理器单元集成在 GPU 上，微处理单元仅做浮点计时钟频率较小，所以功耗极小。比如 NVIDIATesla K20c GPU 在其满载运转时提供 2Tflops 单精度浮点运算能力而功耗却仅为 150W，休眠状态几乎没有功耗。（4）普及率高。绝大多数 PC 上都可以安装 GPU 产品，GPU 产品体系非常完善，品价格从数百到上万元不等，任何人都能根据自己的经济实力购买合适的 GPU。
图 2-1 Spark 任务执行模型.2 Spark 作业执行机制Spark 作业执行机制中有以下相关概念。Job：用户提交的作业。当 RDD 及其 DAG 被提交给 DAGScheduler 调度后，Scheduler 会将所有 RDD 中的转换及动作视为一个 Job。一个 Job 由一到多个 Tas。对于 job，Spark 是串行执行的，如果想要并行执行 Job，可以在 Spark 程序中进线程编程。Stage：Job 的执行阶段。DAGScheduler 按照 ShuffleDependency 作为 Stage 的划分对 RDD 的 DAG 进行 Stage 划分（上游的 Stage 将为 ShuffleMapStage）。因此一个可能被划分为一到多个 Stage。Stage 分为 ShuffleMapStage 和 ResultStage 两种。Task：运行在 Executor 上的工作单元，用来具体执行任务。一个 Job 在每个 Stag会按照RDD的Partition数量，创建多个Task。Task分为ShuffleMapTask和ResultTas。
【参考文献】：
期刊论文
[1]云计算中基于M/Geom/C/∞排队系统的任务调度模型研究[J]. 甘娜,黄裕锋,陆晓梅. 计算机测量与控制. 2018(03)
[2]基于排队论的云应用性能模型研究[J]. 陈玉洪. 电子世界. 2018(03)
[3]云计算中一种基于排队论的资源分配方案[J]. 戴庆龙,李建武. 无线电通信技术. 2017(05)
[4]基于优先排队论网络延迟云计算资源调度算法[J]. 崔建明,刘佳祎,杨呈永. 桂林理工大学学报. 2017(02)
[5]基于GPU的Spark大数据技术在实验室的开发应用[J]. 周情涛,何军,胡昭华. 实验室研究与探索. 2017(01)
[6]基于M/M/n/n排队系统的动态数据库连接池[J]. 毛云峰,邵剑飞. 新技术新工艺. 2016(10)
[7]基于排队理论的云计算中心性能分析模型[J]. 廖倩文,潘久辉,王开杰. 计算机工程. 2015(09)
[8]使用确定随机Petri网对Hadoop公平调度的建模和性能分析[J]. 何华,林闯,赵增华,庞善臣. 计算机应用. 2015(05)
[9]基于M/M/n/n+r排队模型的云计算中心服务性能分析[J]. 何怀文,傅瑜,杨毅红,肖涛. 计算机应用. 2014(07)
博士论文
[1]内存计算框架性能优化关键技术研究[D]. 卞琛.新疆大学 2017
[2]分布式数据处理系统中作业性能优化关键技术研究[D]. 刘俊.重庆大学 2016
硕士论文
[1]Hadoop平台性能建模与优化技术研究[D]. 陈翔.北京工业大学 2017
[2]基于Spark的数据分析建模工具的设计与实现[D]. 牛倩.华北电力大学(北京) 2016
[3]云计算环境中多MapReduce作业动态资源分配方法的研究[D]. 王昊.东北大学 2014
[4]基于大数据的Hadoop并行计算优化处理性能分析[D]. 姚吉龙.南京邮电大学 2014
[5]M/M/n/n排队模型在多线程网络服务软件系统中的应用研究[D]. 刘云杰.重庆师范大学 2009
本文编号：2976691
【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
CPU-GPU结构示意图
图 1-1 CPU-GPU 结构示意图（2）成本低。GPU 在设计时专注于浮点计算，回避了与浮点计算无关的类似分支、逻辑控制等其他复杂功能，因此在制造成本上比较低。众核 GPU 协处理器仅需0 的成本即可达到与多核 CPU 同等的浮点运算能力。（3）功耗小。大量的轻量级微处理器单元集成在 GPU 上，微处理单元仅做浮点计时钟频率较小，所以功耗极小。比如 NVIDIATesla K20c GPU 在其满载运转时提供 2Tflops 单精度浮点运算能力而功耗却仅为 150W，休眠状态几乎没有功耗。（4）普及率高。绝大多数 PC 上都可以安装 GPU 产品，GPU 产品体系非常完善，品价格从数百到上万元不等，任何人都能根据自己的经济实力购买合适的 GPU。
图 2-1 Spark 任务执行模型.2 Spark 作业执行机制Spark 作业执行机制中有以下相关概念。Job：用户提交的作业。当 RDD 及其 DAG 被提交给 DAGScheduler 调度后，Scheduler 会将所有 RDD 中的转换及动作视为一个 Job。一个 Job 由一到多个 Tas。对于 job，Spark 是串行执行的，如果想要并行执行 Job，可以在 Spark 程序中进线程编程。Stage：Job 的执行阶段。DAGScheduler 按照 ShuffleDependency 作为 Stage 的划分对 RDD 的 DAG 进行 Stage 划分（上游的 Stage 将为 ShuffleMapStage）。因此一个可能被划分为一到多个 Stage。Stage 分为 ShuffleMapStage 和 ResultStage 两种。Task：运行在 Executor 上的工作单元，用来具体执行任务。一个 Job 在每个 Stag会按照RDD的Partition数量，创建多个Task。Task分为ShuffleMapTask和ResultTas。
【参考文献】：
期刊论文
[1]云计算中基于M/Geom/C/∞排队系统的任务调度模型研究[J]. 甘娜,黄裕锋,陆晓梅. 计算机测量与控制. 2018(03)
[2]基于排队论的云应用性能模型研究[J]. 陈玉洪. 电子世界. 2018(03)
[3]云计算中一种基于排队论的资源分配方案[J]. 戴庆龙,李建武. 无线电通信技术. 2017(05)
[4]基于优先排队论网络延迟云计算资源调度算法[J]. 崔建明,刘佳祎,杨呈永. 桂林理工大学学报. 2017(02)
[5]基于GPU的Spark大数据技术在实验室的开发应用[J]. 周情涛,何军,胡昭华. 实验室研究与探索. 2017(01)
[6]基于M/M/n/n排队系统的动态数据库连接池[J]. 毛云峰,邵剑飞. 新技术新工艺. 2016(10)
[7]基于排队理论的云计算中心性能分析模型[J]. 廖倩文,潘久辉,王开杰. 计算机工程. 2015(09)
[8]使用确定随机Petri网对Hadoop公平调度的建模和性能分析[J]. 何华,林闯,赵增华,庞善臣. 计算机应用. 2015(05)
[9]基于M/M/n/n+r排队模型的云计算中心服务性能分析[J]. 何怀文,傅瑜,杨毅红,肖涛. 计算机应用. 2014(07)
博士论文
[1]内存计算框架性能优化关键技术研究[D]. 卞琛.新疆大学 2017
[2]分布式数据处理系统中作业性能优化关键技术研究[D]. 刘俊.重庆大学 2016
硕士论文
[1]Hadoop平台性能建模与优化技术研究[D]. 陈翔.北京工业大学 2017
[2]基于Spark的数据分析建模工具的设计与实现[D]. 牛倩.华北电力大学(北京) 2016
[3]云计算环境中多MapReduce作业动态资源分配方法的研究[D]. 王昊.东北大学 2014
[4]基于大数据的Hadoop并行计算优化处理性能分析[D]. 姚吉龙.南京邮电大学 2014
[5]M/M/n/n排队模型在多线程网络服务软件系统中的应用研究[D]. 刘云杰.重庆师范大学 2009
本文编号：2976691
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2976691.html
