MapReduce任务调度和洗牌调度问题的研究

发布时间：2025-01-07 07:17

　　MapReduce是数据中心中一种流行的数据并行处理框架,其通过将作业拆分成多个任务并交给多个节点处理,以较低成本和较高效率完成海量数据的处理。MapReduce将作业拆分成映射(map)任务和归约(reduce)任务,并将作业处理流程分为映射(map)阶段,洗牌(shuffle)阶段和归约(reduce)阶段;其中,归约任务与映射任务之间的数据传输阶段被称为洗牌阶段。在运行映射任务和归约任务之前,任务所在节点会从数据所在节点获取任务运行所需的数据。因此,合理地将映射任务和归约任务部署到合适的计算节点能减少网络流量,以提高MapReduce性能。同时,洗牌阶段占据整个作业运行时间的很大一部分,因此合理地调度洗牌数据能够减少洗牌阶段的调度长度,从而改善MapReduce性能。本文针对MapReduce任务获取所需的网络流量和洗牌数据传输调度长度,分别研究了任务调度问题和洗牌数据传输调度问题,主要研究内容如下:(1)MapReduce框架中任务调度问题。在任务调度问题中,如何确定任务调度位置从而最小化网络流量是决定算法性能的关键。目前的调度算法仅单独针对映射任务或归约任务进行调度优化,而未综...

【文章页数】：61 页

【学位级别】：硕士

【部分图文】：

图3.1不同映射任务数量下的（a）网络流量（b）NTRP

数据副本系数为3，其中一个副本随机分布在节点上，其余副本位置按照MapReduce默认规则分布在其他节点上，每个任务执行所需要的处理能力随机生成。在对比BOLAS算法时，由于BOLAS算法只调度映射任务，因此该算法调度归约任务的部分使用MapReduce的默认调度....

图3.2不同归约任务数量下的（a）网络流量（b）NTRP

第三章MapReduce框架中映射任务和归约任务的联合调度问题这是因为算法RAJS在进行调度时，同时考虑了映射任务调度和归约任务调，而RTS算法仅仅针对归约任务调度，因此随着映射任务数量的增加，RAJS算法提高的越来越明显。相比之下，随着数据量的增加，RAJS算法的....

图3.3不同网络拓扑节点下的（a）网络流量（b）NTRP

合肥工业大学学术硕士研究生学位论文这是因为RTS针对归约任务调度进行优化，随着归约任务数量增加，RTS算法的性能有着显著提高，但是由于RAJS同时还考虑了映射任务调度，因此最后RAJS算法相比BOLAS算法能提高19.5%左右。（3）节点数量的影响本组实验通过改....

图4.1不同数据量下的调度长度Fig4.1Makespanunderdifferentnumberofdatawiththesizesofdatarandomlygeneratedin

图4.1不同数据量下的调度长度Makespanunderdifferentnumberofdatawiththesizesofdatarandom1-10MBand1-100MB图4.2不同数据量下的网络利用率

本文编号：4024691