基于比例份额准则的Symphony系统资源调度的设计与实现

发布时间：2017-05-20 20:22

  本文关键词：基于比例份额准则的Symphony系统资源调度的设计与实现，由笔耕文化传播整理发布。

【摘要】：随着信息时代的信息量呈指数型增长的趋势，未来在庞大的数据量中提取对我们有用的信息将越来越难，因此目前对大数据的处理能力要求越来越高。分布式计算框架的计算能力是否优秀，其最主要的一个因素就是它所设计的调度策略是否高效。为了使Symphony分布式计算软件在计算多作业并行处理时具有更高效的计算能力，设计一种针对多作业并行计算的新型调度策略使得集群资源能够得到更合理的分配和高效的利用。 本文主要设计一种基于比例份额准则的资源调度策略，这种资源调度策略在多作业并行计算时能够为每个作业分配一定比例的集群资源，这个比例值是根据用户为每个作业设定的优先级而制定的，并且在此调度策略上对资源的合理分配和资源的高效利用进行了优化和改进。设计这种资源调度策略的目标是为了使多作业并行计算时能够让每个作业按其优先级高低分配不同大小的集群资源并行计算，同时使有限的集群资源能够得到更加合理的利用，从而提高集群计算能力。 本文主要分为集群资源分配模块、集群资源调度模块、集群资源借用模块，并且对每个模块进行详细的分析并加以实现。其中集群资源分配模块首先将原有的一个资源池改成了两种不同类型的资源池然后按照一定的算法规则计算每种类型池中应该分配多少的slots并实际进行分配资源；集群资源调度模块主要是根据每个作业的优先级值的不同制定出每个作业应该在每个资源池中占用多少比例的资源，并且对作业中的任务进行实际的调度；集群资源借用模块是采取了资源双向借用技术对不同类型资源池中的空闲作业进行利用，，使某种类型的资源数不够的情况下可以借用另一种类型的空闲资源从而使集群中的资源得到更加合理的利用。 最后，经过设计合理的测试用例对资源调度策略的各模块主要功能进行测试，并且测试结果均达到预期效果，从而合理的利用了集群资源、提升了集群框架的计算性能。
【关键词】：分布式计算 MapReduce框架 集群资源调度 比例份额准则
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP338.6
【目录】：

• 摘要5-6
• Abstract6-10
• 第1章 绪论10-17
• 1.1 课题来源及研究意义10-11
• 1.2 与课题相关的国内外研究状况11-15
• 1.2.1 云计算介绍11-12
• 1.2.2 国内外现状12-15
• 1.3 本论文的主要工作内容15-17
• 第2章 需求分析与关键技术17-26
• 2.1 需求分析17-21
• 2.1.1 对现有调度策略局限性的分析17-19
• 2.1.2 功能需求19-21
• 2.2 关键技术21-25
• 2.2.1 资源槽分配管理技术21-24
• 2.2.2 资源借用技术24-25
• 2.3 本章小结25-26
• 第3章 调度策略的总体结构设计26-32
• 3.1 Symphony 软件总体结构26-27
• 3.2 比例份额调度策略的 Mapreduce 系统结构27-28
• 3.3 调度策略功能模块划分28-29
• 3.4 资源调度策略的总体业务流程设计29-30
• 3.5 资源调度策略的结构设计30-31
• 3.6 本章小结31-32
• 第4章 资源调度策略的设计与实现32-55
• 4.1 资源分配模块的设计与实现32-40
• 4.1.1 资源分配模块结构描述32-34
• 4.1.2 资源分配模块详细设计34-37
• 4.1.3 资源分配模块的实现37-40
• 4.2 资源调度模块的设计与实现40-47
• 4.2.1 资源调度模块的调度流程描述40-41
• 4.2.2 资源调度模块的详细设计41-46
• 4.2.3 资源调度模块的实现46-47
• 4.3 资源借用模块的设计与实现47-54
• 4.3.1 资源借用模块的结构描述47-48
• 4.3.2 资源借用模块的详细设计48-52
• 4.3.3 资源借用模块的实现52-54
• 4.4 本章小结54-55
• 第5章 资源调度策略的功能测试与分析55-70
• 5.1 测试环境及所需参数介绍55-57
• 5.1.1 测试环境55-56
• 5.1.2 术语与参数介绍56-57
• 5.2 资源池与 targetMrRatio 参数测试57-61
• 5.2.1 测试用例 157-58
• 5.2.2 测试用例 258-59
• 5.2.3 测试用例 359-61
• 5.3 资源借用模块测试61-68
• 5.3.1 作业内部资源借用61-64
• 5.3.2 作业间资源借用64-68
• 5.4 资源调度策略性能测试分析68-69
• 5.4.1 与原有资源调度策略的对比测试68
• 5.4.2 新型调度策略不同借用方式的测试分析68-69
• 5.5 本章小结69-70
• 结论70-71
• 参考文献71-75
• 致谢75-76
• 个人简历76

【参考文献】

中国期刊全文数据库 前2条

1 李双权;王燕伟;;云计算中服务器虚拟化技术探讨[J];邮电设计技术;2011年10期

2 张亚勤;;与云共舞——微软云计算的新进展[J];中国计算机用户;2009年04期

中国博士学位论文全文数据库 前1条

1 陈海波;云计算平台可信性增强技术的研究[D];复旦大学;2008年

  本文关键词：基于比例份额准则的Symphony系统资源调度的设计与实现，由笔耕文化传播整理发布。

本文编号：382743