基于Torque的异构集群平台调度算法的设计与实现

发布时间：2017-05-11 23:02

  本文关键词：基于Torque的异构集群平台调度算法的设计与实现，由笔耕文化传播整理发布。

【摘要】：随着高性能计算产业的蓬勃发展，越来越多的研究机构和商业公司向这一领域投入大量的人力和物力资源。而集群作为高性能计算的一种重要方式，以其高可扩展性和高性价比等优势在高性能计算中占据越来越重要的地位。随着GPU通用计算的发展，GPU异构集群正渐渐成为集群的主流架构。 Torque是一种非常常见的开源集群管理系统，广泛应用于高校和其他研究机构的集群环境中。Torque在资源管理方面很强大，支持超过1500个计算节点，几乎支持全部的UNIX/Linux系操作系统并且在不断更新。但是在作业调度方面，Torque比较薄弱，其调度算法过于简单，同时也无法支持GPU作业的调度。本文设计并实现了一种面向异构集群的、基于自学习的动态负载均衡调度算法，，对Torque的调度功能进行了扩展。然后设计实现了图像卷积算法和X.264视频编码这两个GPU应用实例，对扩展后的Torque系统进行了测试，发现其能很好地支持GPU作业并且在性能上得到了很大的提升。
【关键词】：异构集群 Torque GPU 任务调度
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP38;TP301.6
【目录】：

• 摘要3-4
• Abstract4-7
• 第一章 绪论7-13
• 1.1 论文背景7-9
• 1.1.1 高性能计算与集群7-8
• 1.1.2 GPU 异构集群8-9
• 1.2 相关技术及研究现状9-10
• 1.2.1 集群管理系统的相关研究9
• 1.2.2 作业调度的相关研究9-10
• 1.3 本文的主要研究工作10
• 1.4 章节安排10-13
• 第二章 集群管理与作业调度概述13-23
• 2.1 主流集群管理系统的介绍13-15
• 2.1.1 CONDOR14
• 2.1.2 LVS14-15
• 2.1.3 COMS15
• 2.2 调度算法的介绍与分析15-19
• 2.2.1 作业调度过程16-17
• 2.2.2 常见的调度算法17-19
• 2.3 调度器的相关介绍19-21
• 2.3.1 集中式调度器19-20
• 2.3.2 分布式调度器20
• 2.3.3 分层式调度器20-21
• 2.4 本章小结21-23
• 第三章 支持 GPU 的 Torque 集群平台的扩展23-41
• 3.1 Torque 概述23-24
• 3.2 构建基于 Torque 的异构集群平台24-26
• 3.2.1 硬件平台搭建24
• 3.2.2 软件部署24-26
• 3.3 Torque 体系结构和工作流程分析26-29
• 3.3.1 Torque 体系结构26-28
• 3.3.2 Torque 工作流程分析28-29
• 3.4 Torque 的源码分析29-36
• 3.4.1 关键数据结构分析29-32
• 3.4.2 调度模块的分析32-36
• 3.4.3 Torque 作业调度的缺陷与不足36
• 3.5 支持 GPU 的 Torque 系统的扩展36-40
• 3.5.1 GPU 资源的获取和保存36-39
• 3.5.2 作业请求 GPU 资源的解析39
• 3.5.3 节点筛选时增加对 GPU 资源的匹配39-40
• 3.6 本章小结40-41
• 第四章 面向异构集群的自学习调度算法设计与实现41-53
• 4.1 算法提出的背景及意义41
• 4.2 问题描述和相关定义41-42
• 4.2.1 问题描述41-42
• 4.2.2 相关概念的定义42
• 4.3 面向异构集群的自学习调度算法的设计42-44
• 4.4 关键问题及其解决方法44-52
• 4.4.1 负载信息的采集44-45
• 4.4.2 性能的统一化描述45-46
• 4.4.3 基于剩余性能的任务分配46-47
• 4.4.4 作业的跟踪与记录47-48
• 4.4.5 基于自学习的负载变化估计48-51
• 4.4.6 针对 GPU 作业的特殊考虑51-52
• 4.5 本章小结52-53
• 第五章 应用实例与性能评价53-59
• 5.1 实验环境53-55
• 5.2 实验用例与结果分析55-58
• 5.2.1 实验用例55-56
• 5.2.2 实验结果与分析56-58
• 5.3 本章小结58-59
• 第六章 总结与展望59-61
• 致谢61-63
• 参考文献63-66

【相似文献】

中国期刊全文数据库 前7条

1 张洋;陈文波;李廉;李兵;程应娥;燕昊;;高性能集群作业管理系统TORQUE分析与应用实现[J];计算机工程与科学;2007年10期

2 邱丽芬;;Torque中实现连环爆炸效果[J];电脑知识与技术;2011年24期

3 吕岚;;在Torque中实现武器丢弃[J];计算机与现代化;2010年03期

4 牛景波;陈洪;王庆;朱虹;赵琛;;基于农业模型的农业培训系统设计与实现[J];微计算机信息;2010年33期

5 邱丽芬;;基于Torque的物品拾取丢弃机制[J];电脑知识与技术;2011年29期

6 张明昕;陈莲英;陈小辉;;NWChem并行计算集群的组建[J];科技资讯;2009年32期

7 孔勇奇;;复杂环境下车辆动力模型计算机仿真与研究[J];微计算机信息;2011年05期

中国重要会议论文全文数据库 前10条

1 ;Direct Torque Control of Permanent Magnet Synchronous Motor[A];第二十九届中国控制会议论文集[C];2010年

2 ;Torque-ripple Minimization in Switched Reluctance Motors Using Sliding Mode Variable Structure Control[A];第二十九届中国控制会议论文集[C];2010年

3 ;Field Weakening Operation Control Strategies of Interior Permanent Magnet Synchronous Motor for Electric Vehicles[A];中国自动化学会控制理论专业委员会A卷[C];2011年

4 ;The Rectangular Fluctuation Control of Improved Direct Torque Controlled Permanent Magnet Synchronous Machines Based on RBF Network[A];第二十七届中国控制会议论文集[C];2008年

5 ;Powertrain Control Strategies for Hybrid Electric Vehicles[A];湖北省内燃机学会2009年学术年会论文集[C];2009年

6 ;Parameter Design and FEM Analysis for 3-phase 6/4 Poles Switched Reluctance Motor[A];中国自动化学会控制理论专业委员会A卷[C];2011年

7 ;Efficiency Improvement on PMSM Twelve Sectors DTC System[A];Proceedings of the 2011 Chinese Control and Decision Conference（CCDC）[C];2011年

8 ;A Direct Torque Controlled Permanent Magnetic Synchronous Motor System Based on the New Rotor Position Estimation[A];第二十六届中国控制会议论文集[C];2007年

9 ;Efficiency Optimization of IPMSM for Urban Rail Traction Based on IPC[A];中国自动化学会控制理论专业委员会D卷[C];2011年

10 ;Total Cource Locomotion Control of Assist Walking Exoskeleton Leg[A];中国自动化学会控制理论专业委员会D卷[C];2011年

中国硕士学位论文全文数据库 前10条

1 顾群;基于Torque的异构集群平台调度算法的设计与实现[D];西安电子科技大学;2014年

2 陈占锋;Torque游戏引擎及脚本技术的应用研究[D];重庆大学;2008年

3 张洋;校园网格系统的中间件研究与实现[D];兰州大学;2008年

4 李媛;集群作业管理中间件的研究与实现[D];首都师范大学;2009年

5 谢磊;Web集群作业管理系统的设计与实现[D];中山大学;2013年

6 韩鹏;并行环境下动态负载平衡方法的研究与实现[D];东北大学;2010年

7 刘政;液力变矩器瞬态动力学理论与实验研究[D];上海交通大学;2013年

8 周林波;基于DSP对永磁同步电机直接转矩控制技术的研究[D];武汉科技大学;2010年

9 杨永昌;交流电机直接转矩控制技术研究与仿真[D];电子科技大学;2011年

10 赵军伟;异步起动永磁同步电动机齿槽转矩的研究[D];山东大学;2012年

  本文关键词：基于Torque的异构集群平台调度算法的设计与实现，由笔耕文化传播整理发布。

本文编号：358224