基于高性能计算系统日志的调度策略研究

发布时间：2017-08-02 06:16

  本文关键词：基于高性能计算系统日志的调度策略研究

  更多相关文章： 高性能计算 作业调度 回填 负载均衡 GridSim

【摘要】：在高性能计算集群中,集群管理系统扮演着极其重要的作用,作业调度又是集群管理的核心。作业调度涉及作业从提交到结束的整个过程,关系到集群的各个部分。设计和使用一个有效的作业调度算法,能够充分利用高性能计算集群系统资源,保证作业迅速而又高效的执行。作业调度是作业到资源的关系映射,而作业对资源的使用产生系统日志。调度策略的性能与作业的负载特性直接相关,通过对系统日志的提取与分析,可以深入挖掘作业调度的性能特征,在此基础上提出优化的调度策略,改善系统性能。仿真是对复杂系统进行研究的一种有效的手段,在对调度算法进行研究与评估的过程中,使用作业调度模拟器搭建仿真环境进行研究能够起到事半功倍的效果。本文基于高性能计算系统的工作日志分析,提出了一个多队列回填作业调度算法,并且搭建仿真框架利用实际系统作业日志进行仿真实验,验证了本文提出的调度算法的有效性。主要研究内容包括:(1)对深圳华大基因研究院(BGI)高性能计算集群进行了研究,通过对高性能计算系统实际工作日志的分析,总结出系统及作业调度的特性。在此基础上利用GridSim模拟器搭建仿真框架,模拟BGI的集群管理系统,进行作业调度的仿真。(2)针对原有作业调度策略的不足与缺陷进行了改进,提出了基于内存资源优化的回填调度算法与多队列负载均衡调度算法。基于内存资源优化的回填调度在传统回填调度算法的基础上进行了改进,结合内存资源的需求进行作业预约与作业回填。多队列负载均衡调度提供了队列级别的负载均衡,并且在此基础上提出了改进方案:动态选择阈值策略与优化迁移策略。(3)在仿真框架中利用实际系统的作业日志进行实验仿真。仿真结果表明,采用本文提出的调度算法,各种性能指标都优于传统的作业调度算法。因此,基于本文的调度策略,能够有效的降低作业等待,提升系统的吞吐率,对于作业响应以及系统资源利用有着更好的效果。
【关键词】：高性能计算 作业调度 回填 负载均衡 GridSim
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP38
【目录】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 绪论10-15
• 1.1 研究背景10-11
• 1.2 国内外研究现状11-13
• 1.2.1 高性能计算集群11-12
• 1.2.2 作业调度的研究12-13
• 1.3 论文的研究工作13
• 1.4 论文结构13-15
• 第二章 相关理论与技术15-31
• 2.1 高性能计算集群15-21
• 2.1.1 高性能计算与高性能计算集群15-16
• 2.1.2 集群作业管理系统概述16-19
• 2.1.3 SGE集群作业管理系统19-21
• 2.2 作业调度策略的研究21-25
• 2.2.1 作业调度的基本概念21-23
• 2.2.2 典型的作业调度策略概述23-25
• 2.3 作业调度模拟器25-30
• 2.3.1 概述25-27
• 2.3.2 GridSim作业调度模拟器27-30
• 2.4 本章小结30-31
• 第三章 高性能计算系统的日志分析31-39
• 3.1 BGI高性能计算系统作业日志31-32
• 3.2 BGI高性能计算系统特性分析32-36
• 3.2.1 BGI集群特性32-34
• 3.2.2 BGI作业与调度特性34-36
• 3.3 仿真框架的搭建36-38
• 3.4 本章小结38-39
• 第四章 调度策略的研究与优化39-56
• 4.1 回填调度算法39-42
• 4.1.1 回填调度算法概述39-40
• 4.1.2 经典回填调度算法40-42
• 4.2 基于内存资源优化的回填调度42-51
• 4.2.1 提出背景42-43
• 4.2.2 基于内存资源优化的回填调度算法设计43-47
• 4.2.3 基于内存资源优化的回填调度算法实现47-51
• 4.3 多队列负载均衡调度51-55
• 4.4 本章小结55-56
• 第五章 仿真实验与结果分析56-65
• 5.1 仿真环境及其验证56-58
• 5.1.1 实验平台与实验数据56-57
• 5.1.2 仿真环境的测试验证57-58
• 5.2 基于内存资源优化的回填调度实验与结果分析58-61
• 5.3 多队列负载均衡调度实验与结果分析61-64
• 5.4 本章小结64-65
• 第六章 总结与展望65-66
• 6.1 论文工作总结65
• 6.2 进一步工作的展望65-66
• 参考文献66-71
• 攻读硕士学位期间取得的研究成果71-72
• 致谢72-73
• 附件73

【相似文献】

中国期刊全文数据库 前10条

1 惠永涛;;作业调度的原理及算法[J];计算机研究与发展;1989年03期

2 陈曦,柳林;基于仿真方法的流通加工作业调度研究[J];信息技术;2001年11期

3 潘全科,罗翔,朱剑英;基于准时制的时间成本双目标作业调度优化[J];东南大学学报(自然科学版);2003年01期

4 刘繁茂;陈新;;中小型半流程制造业的生产作业调度系统研究与应用[J];制造技术与机床;2006年09期

5 颜斯泰;熊萌立;赵淑光;曾志华;;高性能计算与作业调度技术在核电工程领域的应用[J];互联网天地;2013年10期

6 蔡龙飞;;田间作业调度的优化研究与应用[J];现代计算机(专业版);2009年02期

7 刘新闯;邱洪泽;魏二有;苏兆锋;;利用优势元素改进进化算法求解柔性作业调度[J];计算机工程与应用;2010年17期

8 梁迪;陶泽;;多目标柔性作业调度的优化研究[J];计算机工程与应用;2009年15期

9 胡中华;赵敏;;一种求解机器人作业调度的智能优化算法[J];电焊机;2009年11期

10 苏开根;毋国庆;石晓红;;785计算机操作系统作业调度策略[J];计算机工程与科学;1981年01期

中国重要会议论文全文数据库 前3条

1 裴尔明;Karim Bernardet;于传松;孙功星;;基于Agent技术“推拉”结合的网格作业调度系统[A];第十四届全国核电子学与核探测技术学术年会论文集（2）[C];2008年

2 刘礼;杨裔;火久元;刘海迪;李振芳;李廉;;数学网络集成环境作业调度系统模型[A];2006年全国理论计算机科学学术年会论文集[C];2006年

3 裴尔明;Karim Bernardet;于传松;孙功星;;基于Agent技术“推拉”结合的网格作业调度系统[A];第十四届全国核电子学与核探测技术学术年会论文集（下册）[C];2008年

中国重要报纸全文数据库 前1条

1 陈超;有效作业调度实现高效生产[N];中国计算机报;2004年

中国博士学位论文全文数据库 前6条

1 王丹丹;面向集装箱码头岸桥调度的可重叠流水作业优化[D];东南大学;2015年

2 邹敢;柔性搬运系统的智能作业调度方法研究[D];昆明理工大学;2014年

3 顾学民;分布式制造环境下的作业调度研究[D];西北工业大学;2006年

4 梁毅;面向网络计算的作业调度系统关键技术研究[D];中国科学院研究生院（计算技术研究所）;2005年

5 顾涛;集群MapReduce环境中任务和作业调度若干关键问题的研究[D];南开大学;2014年

6 高昊江;板料加工车间物流智能控制及仓储管理系统研究[D];华中科技大学;2007年

中国硕士学位论文全文数据库 前10条

1 干一宏;面向航天制造企业的车间作业调度与指导技术研究[D];南京理工大学;2015年

2 代应祥;基于Hadoop的作业调度策略研究[D];电子科技大学;2015年

3 周凯;高性能计算中作业调度技术与集群管理系统的研究[D];江苏科技大学;2015年

4 侯明霞;云计算环境下作业调度策略研究[D];电子科技大学;2014年

5 王海明;基于Hadoop的作业调度方案研究[D];东北大学;2013年

6 燕明磊;Hadoop平台下基于遗传算法的作业调度的研究与改进[D];西安工程大学;2015年

7 赵新;基于排队网的拉式作业调度系统建模与仿真[D];沈阳工业大学;2016年

8 谢杨;自动化立体仓库拣选作业调度优化研究[D];重庆大学;2015年

9 严金双;基于资源环境和作业开销感知的Hadoop MapReduce作业调度优化研究[D];南京大学;2013年

10 洪旭升;云计算环境下资源分配与作业调度的研究[D];福州大学;2013年

，

本文编号：607967