基于Hadoop集群作业调度实时性能改进的研究与设计
发布时间：2021-08-16 09:21
Hadoop平台是目前最为主流的分布式云计算平台,同时作业调度技术是Hadoop中的关键技术,对Hadoop平台的性能和系统的资源利用都有直接的影响,因此在Hadoop平台下研究作业调度具有重要意义。随着各行各业的发展,用户的需求日趋多元,具有时间约束要求的混合任务集的应用越来越普遍。其中,用户对于具备实时性能的系统更为关注,通过设计一种作业调度器的实现提升Hadoop平台实时性能是目前该领域研究的热点之一。现有的问题是Hadoop现有的作业调度器对实时性能考虑较少,对作业队列的安排仅考虑单元组,同时对多任务类型的适用性考虑不足。针对上述问题本文提出一种新的混合任务集作业调度策略:作业调度采用动态优先级调度方式,在动态优先级调度算法中将调度决策单元组扩展为四元组,分别是作业紧急程度,作业等待时间,作业任务价值以及作业预计完成时间。在实现技术上本文通过创建新作业调度器,将新作业调度器继承TaskScheduler接口,并在ResourceManager中实现新调度器加载和调用。同时在Hadoop中默认的作业优先级只有五个等级,无法明确反映作业的紧急程度,因此本文还给出优先级等比例映射公式...
【文章来源】：沈阳工业大学辽宁省
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
云计算服务类型Fig2.1CloudcomputingservicetypeSaaSCRM、电子邮件、虚拟桌面、在线游戏…用
Nutch 希望实现对全网的搜索；但是随着各行业的不断进步，需要处理的网页数目也越来越多，解决海量数据的存储和相关的查询功能也日趋困难，在问题出现之后谷歌发出两篇论文来解决现有问题。其中一篇就是分布式文件系统 GFS 的论文，其主要内容描述了搜索引擎中相关的存储架构，解决了网页抓取中的超大文件存储问题。另一篇介绍了重要的分布式计算框架MapReduce的设计艺术，解决了海量网页的索引问题[26]。Hadoop 版本的发展可以通过两个版本进行描述，分别是 MapReduce version 1 和MapReduce version 2[27]。目前，较为通用的版本是 Hadoop2.x，该版本分离开资源管理和计算框架，方便了 Hadoop 与其他的分布式框架结合，提升了 Hadoop 的生命力。下图 2.2 即为 Hadoop 的主要发行版本以及里程碑事件。2003 年 Nutch2004 年谷歌发表两篇重要论文2006 年 Hadoop诞生2008 年2010 年 4 月谷歌将专利授权给 Apache 软件基金会2011 年 12 月Hadoop1.0.0
当最后一个 DataNode 完成操作后会返回 ack packet，同样通过 pipeline 返回给客户端，当 client 内部成功收到由 DataNode 返回的 ack packet 之后，会将该 ack packet 从相应的 ack queue 中去除。如果在写操作进行的过程中，有其中一个 DataNode 出现了问题，出现问题的会被当前 pipeline 移除，同时该 pipeline 就会被关闭，剩下的 block 会继续在 pipeline 中传输，此时 NameNode 会为其分配一个新的 DataNode，保持先前replicas 的数量。所有 block 均完成便关闭文件。DistributedHDFSFileSystemClient1:Create3:write NameNodeNameNode2:CreateDistributedFileSystem6:close7:completeClientJVM5:ack packet4:write packet
【参考文献】：
期刊论文
[1]基于公平调度的新能源调度方法[J]. 张鹏,黄越辉,李驰,杨海柱,岳刚伟,康乐. 科学技术与工程. 2018(20)
[2]基于公平性约束的无线体域网集中式调度算法[J]. 经贞,谢志军,石守东,纽俊. 传感器与微系统. 2018(06)
[3]耦合分布式系统多任务动态调度算法[J]. 刘金波,黄海于. 计算机技术与发展. 2017(12)
[4]基于节点性能的Hadoop作业调度算法改进[J]. 冯兴杰,贺阳. 计算机应用与软件. 2017(05)
[5]MapReduce大数据处理平台与算法研究进展[J]. 宋杰,孙宗哲,毛克明,鲍玉斌,于戈. 软件学报. 2017(03)
[6]Hadoop平台中作业调度算法分析与改进研究[J]. 陈新. 微型机与应用. 2016(11)
[7]基于节点集计算能力差异的Hadoop自适应任务调度算法[J]. 朱洁,李雯睿,王江平,赵红. 计算机应用. 2016(04)
[8]异构Hadoop环境下的实时作业调度算法[J]. 何曦,张向利,张红梅. 计算机工程与应用. 2016(16)
[9]Hadoop集群作业调度算法优化技术研究[J]. 单冬红,郭静博,赵伟艇. 现代电子技术. 2016(06)
[10]基于范德蒙码的HDFS优化存储策略研究[J]. 宋宝燕,王俊陆,王妍. 计算机学报. 2015(09)
硕士论文
[1]Hadoop平台的作业调度算法研究与改进[D]. 陶昌俊.中国科学技术大学 2015
本文编号：3345412
【文章来源】：沈阳工业大学辽宁省
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
云计算服务类型Fig2.1CloudcomputingservicetypeSaaSCRM、电子邮件、虚拟桌面、在线游戏…用
Nutch 希望实现对全网的搜索；但是随着各行业的不断进步，需要处理的网页数目也越来越多，解决海量数据的存储和相关的查询功能也日趋困难，在问题出现之后谷歌发出两篇论文来解决现有问题。其中一篇就是分布式文件系统 GFS 的论文，其主要内容描述了搜索引擎中相关的存储架构，解决了网页抓取中的超大文件存储问题。另一篇介绍了重要的分布式计算框架MapReduce的设计艺术，解决了海量网页的索引问题[26]。Hadoop 版本的发展可以通过两个版本进行描述，分别是 MapReduce version 1 和MapReduce version 2[27]。目前，较为通用的版本是 Hadoop2.x，该版本分离开资源管理和计算框架，方便了 Hadoop 与其他的分布式框架结合，提升了 Hadoop 的生命力。下图 2.2 即为 Hadoop 的主要发行版本以及里程碑事件。2003 年 Nutch2004 年谷歌发表两篇重要论文2006 年 Hadoop诞生2008 年2010 年 4 月谷歌将专利授权给 Apache 软件基金会2011 年 12 月Hadoop1.0.0
当最后一个 DataNode 完成操作后会返回 ack packet，同样通过 pipeline 返回给客户端，当 client 内部成功收到由 DataNode 返回的 ack packet 之后，会将该 ack packet 从相应的 ack queue 中去除。如果在写操作进行的过程中，有其中一个 DataNode 出现了问题，出现问题的会被当前 pipeline 移除，同时该 pipeline 就会被关闭，剩下的 block 会继续在 pipeline 中传输，此时 NameNode 会为其分配一个新的 DataNode，保持先前replicas 的数量。所有 block 均完成便关闭文件。DistributedHDFSFileSystemClient1:Create3:write NameNodeNameNode2:CreateDistributedFileSystem6:close7:completeClientJVM5:ack packet4:write packet
【参考文献】：
期刊论文
[1]基于公平调度的新能源调度方法[J]. 张鹏,黄越辉,李驰,杨海柱,岳刚伟,康乐. 科学技术与工程. 2018(20)
[2]基于公平性约束的无线体域网集中式调度算法[J]. 经贞,谢志军,石守东,纽俊. 传感器与微系统. 2018(06)
[3]耦合分布式系统多任务动态调度算法[J]. 刘金波,黄海于. 计算机技术与发展. 2017(12)
[4]基于节点性能的Hadoop作业调度算法改进[J]. 冯兴杰,贺阳. 计算机应用与软件. 2017(05)
[5]MapReduce大数据处理平台与算法研究进展[J]. 宋杰,孙宗哲,毛克明,鲍玉斌,于戈. 软件学报. 2017(03)
[6]Hadoop平台中作业调度算法分析与改进研究[J]. 陈新. 微型机与应用. 2016(11)
[7]基于节点集计算能力差异的Hadoop自适应任务调度算法[J]. 朱洁,李雯睿,王江平,赵红. 计算机应用. 2016(04)
[8]异构Hadoop环境下的实时作业调度算法[J]. 何曦,张向利,张红梅. 计算机工程与应用. 2016(16)
[9]Hadoop集群作业调度算法优化技术研究[J]. 单冬红,郭静博,赵伟艇. 现代电子技术. 2016(06)
[10]基于范德蒙码的HDFS优化存储策略研究[J]. 宋宝燕,王俊陆,王妍. 计算机学报. 2015(09)
硕士论文
[1]Hadoop平台的作业调度算法研究与改进[D]. 陶昌俊.中国科学技术大学 2015
本文编号：3345412
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/3345412.html
