基于YARN的GPU集群系统研究

发布时间：2017-06-26 22:08

  本文关键词：基于YARN的GPU集群系统研究，由笔耕文化传播整理发布。

【摘要】：在CPU单核性能逐渐遇到技术瓶颈的今天，GPU作为一种高度并行化的流式处理器，在许多应用上的计算能力已经大幅超越CPU。加上其可编程技术的成熟，基于GPU的通用计算已经成为一个热门且重要的研究领域。与CPU相类似地，单个GPU的性能还难以完全满足计算密集型应用的强大计算力需求，GPU集群化成了必然的趋势。然而，为每一个应用均开发专门的GPU集群系统的代价过大，基于此，本文结合第二代Hadoop分布式系统对基于YARN的GPU集群技术进行了分析与研究。 首先，本文通过研究YARN系统的组成结构，分析了其多维资源管理的可行性，并为其进行GPU资源调度提出了相应的解决方案。同时，针对YARN资源调度过程和调度算法实现上的不足，本文结合GPU的相关特性，对相应模块进行了修改与优化，使YARN系统真正具备了高效地调度CPU、内存和GPU三种资源的能力。 接着，为了使CUDA程序能够在YARN框架中并行地运行，本文从YARN框架的用户接口出发，设计了具有一定针对性的CUDA应用程序控制器，用于简化CUDA程序迁移至YARN的过程，以达到降低其并行化成本的目的。同时，针对GPU的硬件特性，本文对CUDA应用程序控制器的任务分配策略进行了深入的研究，以提高集群资源利用率，并为开发人员对程序进行优化提供科学性依据。 最后，本文通过设计多组实验对系统进行了全方位的测试，并对结果进行了详细的分析。大量的实验数据表明，本文的设计能够在复杂的异构环境下快速地构建高效稳定的和优良可扩展的多维资源弹性计算平台。
【关键词】：GPU集群 YARN CUDA 并行计算
【学位授予单位】：中山大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP332
【目录】：

• 摘要3-4
• Abstract4-7
• 第1章 引言7-10
• 1.1 课题背景简介7
• 1.2 领域研究现状与本文相关工作7-9
• 1.3 段落结构9-10
• 第2章 背景10-18
• 2.1 HADOOP 框架及 YARN 简介10-12
• 2.2 CUDA 并行架构及其编程模型简介12-14
• 2.3 CUDA 并行化实践14-17
• 2.4 本章小结17-18
• 第3章 基于 YARN 的 GPU 资源调度18-29
• 3.1 YARN 基本架构18-20
• 3.2 资源表示模型20-21
• 3.3 资源调度模型21-26
• 3.4 资源调度算法26-28
• 3.5 本章小结28-29
• 第4章 YARN 框架下的 CUDA 应用程序控制器29-38
• 4.1 CLIENT 和 APPLICATIONMASTER 概述29-31
• 4.2 CUDAAPPLICATIONMASTER 设计31-33
• 4.3 动态任务分配策略33-34
• 4.4 最优分割34-37
• 4.5 本章小结37-38
• 第5章 基于 YARN 的 GPU 集群系统38-42
• 5.1 GPU 计算设备的动态绑定38-40
• 5.2 系统总体运行过程40-42
• 第6章 实验结果与分析42-51
• 6.1 系统部署环境和 CUDA 程序样例42-44
• 6.2 扩展性实验44-48
• 6.3 DRF 有效性实验48-49
• 6.4 稳定性和容错性实验49-50
• 6.5 本章小结50-51
• 第7章 总结与展望51-53
• 7.1 文章总结51-52
• 7.2 工作展望52-53
• 参考文献53-56
• 致谢56-57
• 成果清单57

【相似文献】

中国期刊全文数据库 前10条

1 刘晓平;王启骏;陈皓;张乃钊;;基于距离的点光源软阴影GPU生成方法[J];合肥工业大学学报(自然科学版);2011年12期

2 郭云;康涛;徐涵;;基于优化存储的嵌入式GPU的字符显示[J];计算机系统应用;2012年10期

3 本刊编辑部;;加州大学圣地亚哥分校使用GPU超级计算机实现千万亿次级地震模拟[J];科研信息化技术与应用;2013年02期

4 许建;林泳;秦勇;黄翰;;基于GPU的并行协同过滤算法[J];计算机应用研究;2013年09期

5 技术宅;;GPU通用计算解密[J];电脑爱好者;2014年02期

6 陆筱霞;段光明;李思昆;;基于GPU的遥感纹理压缩解压算法[J];系统仿真学报;2009年S1期

7 詹总谦;卢亮;;基于GPU并行处理技术的影像畸变差修正[J];测绘信息与工程;2011年02期

8 张浩;李利军;林岚;;GPU的通用计算应用研究[J];计算机与数字工程;2005年12期

9 谢洪涛;高科;张勇东;李锦涛;刘毅志;;基于GPU的快速图像拷贝检测[J];计算机辅助设计与图形学学报;2010年09期

10 丁鹏;贾月乐;张静;张岩;;GPU结构与通用计算探析[J];技术与市场;2009年09期

中国重要会议论文全文数据库 前4条

1 夏青;岳利群;;基于GPU编程的海浪仿真技术研究[A];2007系统仿真技术及其应用学术会议论文集[C];2007年

2 刘小虎;胡耀国;符伟;;大规模有限元系统的GPU加速计算研究[A];中国计算力学大会'2010（CCCM2010）暨第八届南方计算力学学术会议（SCCM8）论文集[C];2010年

3 张迪;黄伟;罗琦;王侃;;波形板干燥器内液滴数值模拟的GPU并行加速[A];第十六届全国流体力学数值方法研讨会2013论文集[C];2013年

4 李慧;付志一;;基于GPU计算的有限元总刚组成方法探索[A];北京力学会第17届学术年会论文集[C];2011年

中国重要报纸全文数据库 前7条

1 本报记者 刘燕;GPU加速是手机浏览器方向[N];科技日报;2012年

2 ;GPU，智能手机好推手[N];电脑报;2013年

3 诸玲珍;NVIDIA推0.13微米GPU[N];中国电子报;2002年

4 网络世界记者 周源;曙光三款GPU服务器问世[N];网络世界;2013年

5 ;GPU市场Q2创八年最大增幅[N];计算机世界;2009年

6 小溪 编译;NVIDIA唱响GPU统一架构时代序曲[N];计算机世界;2006年

7 沈阳 刘镝;GPU：给显卡一颗驿动的“芯”[N];电脑报;2001年

中国博士学位论文全文数据库 前4条

1 陈钢;众核GPU体系结构相关技术研究[D];复旦大学;2011年

2 刘华海;节点内多CPU多GPU协同并行绘制关键技术研究[D];国防科学技术大学;2012年

3 白洪涛;基于GPU的高性能并行算法研究[D];吉林大学;2010年

4 林一松;面向GPU的低功耗软件优化关键技术研究[D];国防科学技术大学;2012年

中国硕士学位论文全文数据库 前10条

1 韦婷;基于GPU的自然场景渲染优化技术研究[D];广西大学;2013年

2 梅世冬;实时阴影绘制方法研究及GPU加速[D];华中师范大学;2010年

3 李军;基于GPU的大规模场景实时阴影绘制[D];湖南大学;2011年

4 晏福兴;基于GPU的软阴影技术的研究[D];杭州电子科技大学;2009年

5 明星;基于GPU的医学图像三维重建算法及其应用[D];华中科技大学;2009年

6 马鸣飞;基于GPU加速的三维超声成像系统[D];哈尔滨工业大学;2011年

7 苏金洲;基于粒子滤波的检测前跟踪算法研究及在GPU平台上的实现[D];电子科技大学;2013年

8 范希贤;基于GPU的并行排序学习算法研究[D];哈尔滨工业大学;2012年

9 彭绍鑫;基于GPU的硬件加速方法及其在积分方程数值解中的应用[D];电子科技大学;2008年

10 刘伟;基于图谱配准的肝脏CT三维自动分割研究及GPU加速平台实现[D];南京邮电大学;2011年

  本文关键词：基于YARN的GPU集群系统研究，，由笔耕文化传播整理发布。

本文编号：487729