基于SPARK的作业调度与内存缓存优化研究

发布时间：2020-06-17 09:38

【摘要】：随着云计算与大数据技术的迅速发展,Spark作为一种基于内存计算的大型数据处理框架已被广泛应用。为提升任务执行效率,针对该平台的研究已成为一大热点。在Spark环境下,数据的缓存、读取和计算都是在内存中进行,大大减少了内存和硬盘之间数据传输的时间,提高了任务的执行效率。但是进一步提高Spark的计算性能,探索高效的作业调度算法与更有效利用内存资源仍是亟待解决的两个热点问题。因此本文针对Spark On Yarn模式下的作业调度算法以及Spark的内存使用机制做出了相应的研究与改进,本文主要研究内容如下:(1)基于遗传禁忌的Spark作业调度研究本文采用Spark On Yarn部署模式,针对Yarn模式下几种调度算法中存在的不足,提出一种新的作业调度方法。通过研究遗传算法种群在进化过程中的变化,首先提出一种改进最优保存策略,针对交叉和变异操作提出一种修正自适应遗传算法—MAGA(Modified Adaptive GA)。进一步通过将MAGA与禁忌算法融合,提出一种修正自适应遗传禁忌算法的Spark作业调度方法。试验验证该作业调度算法能够有效降低任务的执行时间,提升任务执行效率。(2)基于Spark的内存缓存管理研究RDD是Spark特有的抽象数据模型,针对RDD缓存的选择以及LRU替换算法进行改进,本文提出RDD缓存预判机制,同时通过引入熵值法提出基于RDD分区特征的权重模型和权值更新机制,实现了优化内存利用率的目标。最后通过搭建Hadoop+Spark集群环境,采用Spark On Yarn模式对上述两种改进方法进行实验验证。首先针对修正自适应遗传禁忌算法的Spark作业调度算法,在仿真环境下验证改进的遗传禁忌算法有效性的基础上,进一步在集群环境下验证得出该作业调度算法能够有效降低任务的执行时间,提升任务执行效率;然后在同一实验环境下验证了RDD缓存预判机制以及优化的替换算法的有效性,实验结果表明该方法能够有效降低任务执行时间,提升内存利用率。
【学位授予单位】：河北经贸大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP311.13
【图文】：

用程序和服务）进行无处不在的、方便快捷、按需管理或者服务商的交互来快速的提供和释放计算资源核心层PaaS层海量数据的分布式存储技术 海量数据的处理模型资源管理与调度技术SaaS层各类应用服务，如：括 GoogleApps通用的应用：Hadoop，Spark，数据库等Q保机资监用户访问层

图 2.2 Spark 生态系统图Spark 运行架构分析群基本运行架构如图 2.3 所示，DriverApplication 即 Driver 应由 Spark Driver 负责，其可以认为是 Spark 的客户端。在向进行 SparkContext 初始化工作。该初始化工作包括:创建 S执行环境的构建主要包括创建安全管理器 SecurityManager 同时也包括实例化 ShuffleManager,其主要负责管理本地以及le 操作;创建浏览器能访问到的监控环境 SparkUI，用户可以通有 Job 的进度、状态信息；创建负责任务提交的任务调度器 请求集群管理器对任务进行调度；创建并启动 DAGSchedu任务提交给 TaskScheduler 前将任务转换为 RDD，并组织成任务之间的依赖关系，将 RDD 划分到不同的 Stage 中，并eduler 借助 ActorSystem 将任务提交到 ClusterManager(集群管

【相似文献】

相关期刊论文 前10条

1 韩建民,鹿玲杰,王传斌,贾莉卿;作业调度机制在计算机控制系统中的应用[J];计算机应用;1999年08期

2 惠永涛;;作业调度的原理及算法[J];计算机研究与发展;1989年03期

3 周志玉;;拖船联合作业调度系统设计[J];船电技术;2014年03期

4 郑子钊;胡燕海;;供应链协同生产作业调度优化研究[J];宁波大学学报(理工版);2011年01期

5 韩笑乐;梁亮;陆志强;奚立峰;;集装箱码头岸吊作业调度建模及调度策略研究[J];工业工程与管理;2009年05期

6 郑玉军;;企业生产作业调度优化研究[J];魅力中国;2009年29期

7 张启敏;唐秋华;毛永年;王春锋;;钢厂多行车作业调度方法研究[J];机械设计与制造;2016年11期

8 马海明;王玉洁;;银行信息系统作业调度自动化建设[J];中国金融电脑;2013年04期

9 付云虹;白树仁;;并行作业调度系统的设计与实现[J];电脑与信息技术;2006年04期

10 孙世为;;地震资料处理并行作业调度分析及实现[J];胜利油田职工大学学报;2007年05期

相关会议论文 前7条

1 姚建凡;管宇;王一楠;李伟;;核设计并行作业调度系统的设计与实现[A];2016电力行业信息化年会论文集[C];2016年

2 裴尔明;Karim Bernardet;于传松;孙功星;;基于Agent技术“推拉”结合的网格作业调度系统[A];第十四届全国核电子学与核探测技术学术年会论文集（2）[C];2008年

3 刘礼;杨裔;火久元;刘海迪;李振芳;李廉;;数学网络集成环境作业调度系统模型[A];2006年全国理论计算机科学学术年会论文集[C];2006年

4 裴尔明;Karim Bernardet;于传松;孙功星;;基于Agent技术“推拉”结合的网格作业调度系统[A];第十四届全国核电子学与核探测技术学术年会论文集（下册）[C];2008年

5 颜克威;;板坯库吊车扩容改造[A];中国计量协会冶金分会2017年会论文集[C];2017年

6 张晓坤;彭炎午;;FMS智能调度系统结构[A];第三届全国控制与决策系统学术会议论文集[C];1991年

7 康琦;杨东升;汪镭;吴启迪;;半导体封装作业调度的群体智能近似动态优化[A];2009年中国智能自动化会议论文集（第七分册）[南京理工大学学报（增刊）][C];2009年

相关重要报纸文章 前10条

1 陈超;有效作业调度实现高效生产[N];中国计算机报;2004年

2 胡荣山;港口作业调度实现“全程掌控”[N];中国交通报;2007年

3 《网络世界》记者 周源;众口不再“难调”[N];网络世界;2011年

4 祁金华;风云卫星背后的“IT风云”[N];网络世界;2008年

5 记者 宋馨;提高认识 突出重点 狠抓落实 加强领导[N];周口日报;2015年

6 本报记者 肖培清　本报通讯员 刘世忠;信息直通点到点 安全监控面到面[N];人民铁道;2008年

7 黄言;联想高性能服务器发威教育行业[N];中国企业报;2009年

8 曾宇 刘朝晖;不选贵的 只选对的[N];计算机世界;2006年

9 ;IT系统运行质量的保障者[N];网络世界;2003年

10 记者 江彦博邋樊磊波 通讯员 郑振华;陕西力抓灾后“三夏”生产[N];农民日报;2008年

相关博士学位论文 前10条

1 凌晓;云计算弹性资源分配与作业调度策略优化研究[D];清华大学;2017年

2 梁毅;面向网络计算的作业调度系统关键技术研究[D];中国科学院研究生院（计算技术研究所）;2005年

3 顾学民;分布式制造环境下的作业调度研究[D];西北工业大学;2006年

4 顾涛;集群MapReduce环境中任务和作业调度若干关键问题的研究[D];南开大学;2014年

5 万聪;大数据作业调度优化模型及算法研究[D];东北大学;2015年

6 曹海军;面向服务的网格工作流关键问题研究[D];华中科技大学;2009年

7 林炳q;铁路集装箱中心站物流系统建模与优化研究[D];西南交通大学;2014年

8 姜建华;数据网格几个关键技术的研究[D];吉林大学;2010年

9 陶永才;网格环境下作业可靠调度机制的研究[D];华中科技大学;2009年

10 赵辉;面向大规模交互式分析的MapReduce优化技术研究[D];国防科学技术大学;2013年

相关硕士学位论文 前10条

1 陈齐圳;多重入制造系统动态作业调度仿真与优化[D];武汉理工大学;2018年

2 张艳飘;基于SPARK的作业调度与内存缓存优化研究[D];河北经贸大学;2019年

3 张东东;超算CAE云平台作业调度管理系统的研究与实现[D];湖南大学;2016年

4 陈静临;基于Hadoop异构集群的动态作业调度研究[D];北京交通大学;2018年

5 姜梦妍;料箱式多载具自动化存取系统作业调度与绩效评价[D];清华大学;2017年

6 陈伟诚;Hadoop平台中作业调度算法分析与改进研究[D];湖南大学;2015年

7 方小龙;Hadoop平台下基于遗传算法的作业调度研究[D];中南民族大学;2016年

8 王娜;基于改进蚁群算法的多AGV作业调度研究[D];陕西科技大学;2017年

9 李词超;Hadoop作业调度算法分析与优化[D];武汉理工大学;2015年

10 胡龙;电商数据仓库作业调度系统的设计与实现[D];首都经济贸易大学;2017年

本文编号：2717414