云环境下容器化Spark资源调度优化机制研究

发布时间：2021-02-02 19:19

　　随着云计算与大数据技术的的飞速发展,容器技术和Spark技术得到了广泛的应用,使得传统的Spark部署方式显得越来越臃肿。容器的轻量级、易隔离、开箱即用的特点使得开发者越来越重视将大数据技术与容器技术相结合的探索工作。因此本文提出了容器化的Spark集群资源调度优化方案,并通过实验验证了优化算法的有效性,本文主要包括以下三个方面内容:1)针对传统容器调度算法和主流容器编排工具调度容器时仅关注单个容器的调度指标,在应对集群容器调度时表现出衡量指标单一、负载不均衡和调度总时间过长等问题。提出了OABC（Optimised Artificial Bee Colony）并行调度算法,综合考虑了集群中各节点之间,以及各工作节点与数据源之间的关联性。同时,针对容器编排工具Kubernetes的调度模块插件化特性,增加集群容器并行调度策略,以集群为调度的基本单元,以此实现缩短集群容器的整体调度时间和提高服务性能的目的。实验结果表明,所提出的算法能够有效的缩短整个集群容器的构建时间,且使得集群的整体负载更加均衡。2)将Spark集群以容器的形式部署,改变了以往直接利用宿主机资源的方式,这将导致Spar... 

【文章来源】：南京邮电大学江苏省

【文章页数】：87 页

【学位级别】：硕士

【部分图文】：

集群各节点资源利用率和待调度的容器所需资源

机节点和三个待调度的容器资源情况，分别通过顺序调度和并行调度的结果，可以明显的发现并行调度后集群的负载更加均衡。图 3.1 集群各节点资源利用率和待调度的容器所需资源

顺序调度容器1、2、3结果图

【参考文献】：
期刊论文
[1]操作系统虚拟化的研究现状与展望[J]. 吴松,王坤,金海.  计算机研究与发展. 2019(01)
[2]MapReduce与Spark用于大数据分析之比较[J]. 吴信东,嵇圣硙.  软件学报. 2018(06)
[3]面向大数据处理的基于Spark的异质内存编程框架[J]. 王晨曦,吕方,崔慧敏,曹婷,John Zigman,庄良吉,冯晓兵.  计算机研究与发展. 2018(02)
[4]基于自适应机制的虚拟机进程实时监视方法[J]. 崔超远,李勇钢,乌云,孙丙宇.  计算机学报. 2019(04)
[5]云计算虚拟化技术的发展与趋势[J]. 武志学.  计算机应用. 2017(04)
[6]面向微服务架构的容器级弹性资源供给方法[J]. 郝庭毅,吴恒,吴国全,张文博.  计算机研究与发展. 2017(03)
[7]MapReduce大数据处理平台与算法研究进展[J]. 宋杰,孙宗哲,毛克明,鲍玉斌,于戈.  软件学报. 2017(03)
[8]面向Dockerfile的容器镜像构建工具[J]. 耿朋,陈伟,魏峻.  计算机系统应用. 2016(11)
[9]基于Docker的Hadoop平台架构研究[J]. 赵乐乐,黄刚,马越.  计算机技术与发展. 2016(09)
[10]基于Docker的虚拟化技术研究[J]. 伍阳.  信息技术. 2016(01)



本文编号：3015236