面向成本优化的批处理科学工作流的DEADLINE分解和调度
发布时间：2021-03-09 18:38
随着云计算应用的不断深入以及对大数据处理需求的不断提升,越来越多的企业选择使用云平台来处理海量的数据。由于云计算的商业性,这就对云计算中的任务调度提出了更加严苛的要求,如何合理且经济的完成任务调度成为了研究云计算的关键问题之一。批处理科学工作流是大数据时代的一种新型工作流建模形式,近两年已引起业内的重视,但当前仍处于起步阶段。传统的科学工作流任务调度算法已经不适用于批处理科学工作流。因此,本文在前人研究的基础上,围绕带有截止期的批处理科学工作流任务调度模型,对整体调度成本进行探讨与研究,提出了一种批处理科学工作流基于规则迭代的动态Deadline划分方法和一种基于改进遗传算法的批处理科学工作流任务调度算法。传统的Deadline划分方法不仅不能适应批处理科学工作流,同时其划分方式过于简单也导致了在实际任务调度过程中不能合理的划分各部分的任务调度时间从而导致任务调度成本大大增加。因此本文提出了一种基于规则迭代的动态Deadline划分方法,该方法通过合理的降低并行度或升级虚拟机,同时并重收缩非关键路径上的虚拟机使用数量,使得该方法可以更好划分批处理科学工作流的Deadline。在传统遗传...
【文章来源】：天津科技大学天津市
【文章页数】：53 页
【学位级别】：硕士
【部分图文】：
图３－１科学工作流ＤＡＧ模型??
?３基于简单规则的批处理科学工作流Ｄｅａｄｌｍｅ划分方法???巨大，需要利用分布式处理环境进行并行处理，因此这些节点变成了由批量独立任务??构成的批处理任务组，在原有科学工作流模型的基础上形成了批处理科学工作流［６９］。??为了方便描述，对批处理科学工作流进行如下建模：??１）图３－２为一个批处理科学工作流ＤＡＧ?（Ｄｉｒｅｃｔｅｄ?Ａｃｙｃｌｉｃ?Ｇｒａｐｈ），对于一个标??准的ＤＡＧ图来说，入口节点是其他所有任务的前驱节点，其优先度是最高的，故在??所有任务节点中入口节点应该最先获得调度，出口节点与之同理［７＜）］。???２０＾—２０—２０；－?—１０—１０—１０—??????Ｃ（＾?ｄ）?＾））Ｂｏ?（ｊ）?＾）Ｔ?喊会?Ｊｇ〇Ｂ６??ｂｉ?ｂ?）Ｂ？??ｒＳ?￥））?Ｂｚ?（Ｓ?＆）?Ｂ５ｉ?ｋ?（§?＾）??Ｓｌ??ｉ任务单元（）任务批??图３－２标准批处理科学工作流ＤＡＧ图??Ｆｉｇ．３－２?Ｓｔａｎｄａｒｄ?ｂａｔｃｈ?ｐｒｏｃｅｓｓｉｎｇ?ｓｃｉｅｎｃｅ?ｗｏｒｋｆｌｏｗ?ＤＡＧ?ｄｉａｇｒａｍ??２）需要进行任务调度的任务批为「Ｕ２，…，Ｃ）５其中（代表编号为／的任务节点。在??每一个任务节点上包含若干个子任务，即ｃ＝（（（ｉＵ（２），．ｗ），（（＊）代表彳任务节点上的??第左个任务包。??３）定义批处理科学工作流为有向无环图ＤＡＧ，任务节点（为有向无环图ＤＡＧ上??的一个节点。??４）假设云平台提供Ｗ种不同类型的虚拟机，将任务节点（上的９个子任务调度到??不同虚拟机上的期望运行时间ＥＴＣ?（ｅｘｃｅｐｔｅｄ?ｔｉｍｅ?ｔｏ?ｃｏｍｐｕｔｅｒ）是一个所的矩阵，?
?４基于改进遗传算法的批处理科学工作流Ｄｅａｄｌｉｎｅ划分方法???（?瓶?＾??ｉ??生成切始种群???］ｒ???ｉ十篤每个个体的适应??度值???ｉｊｒ???以暖率遗传ｓ子．￣??不■进行交艾变舜操??作．淘汰劣质解．：主成?ｉ??新的解。?ｊ?ｔｒ???］?ｒ???得－＿到新的种群??丄??７３Ｅ??经过多次迭代达刻停止??条饽时，根据适应度函??数保留一＾最＿??非关键蹈径虚拟机使??用数Ｓ收缩操作???］［???（?親）??图４－１改进遗传算法算法流程图??Ｆｉｇ?．４－１?ｆｌｏｗ?ｃｈａｒｔ?ｏｆ?ｉｍｐｒｏｖｅｄ?ｇｅｎｅｔｉｃ?ａｌｇｏｒｉｔｈｍ??２０??
【参考文献】：
期刊论文
[1]基于云计算系统的数据传输安全与存储安全的策略研究[J]. 赵瑞芬. 信息与电脑(理论版). 2018(23)
[2]云计算环境下虚拟机部署策略研究[J]. 袁爱平. 计算机与数字工程. 2018(08)
[3]截止时间约束云工作流调度代价优化遗传算法[J]. 余科军,张建州. 计算机工程与设计. 2018(07)
[4]基于遗传算法的云任务调度改进算法[J]. 任金霞,黄艺培,钟小康. 江西理工大学学报. 2018(03)
[5]云科学工作流中任务可完成性预测方法[J]. 吴修国,苏玮. 计算机研究与发展. 2018(03)
[6]云计算环境下基于改进遗传算法的多维约束任务调度研究[J]. 李超,戴炳荣,旷志光,吴小丽,孙融清. 小型微型计算机系统. 2017(09)
[7]云计算环境下差异化资源的合理调度模型改进[J]. 陈榕利,陈晓忠,方兴. 现代电子技术. 2017(12)
[8]云计算基于遗传粒子群算法的多目标任务调度[J]. 刘春燕,杨巍巍. 计算机技术与发展. 2017(02)
[9]基于混合遗传算法的并行测试任务调度研究[J]. 秦勇,梁旭. 国外电子测量技术. 2016(09)
[10]面向数据密集型工作流的QoS-aware调度算法[J]. 万聪,王翠荣,王聪. 系统仿真学报. 2016(03)
博士论文
[1]云计算环境下工作流应用的资源供应方法[D]. 蔡志成.东南大学 2015
硕士论文
[1]面向云数据中心的动态高能效虚拟机调度算法研究[D]. 徐舒婷.西北大学 2017
[2]云计算环境下虚拟资源调度策略的研究[D]. 黄青.武汉理工大学 2017
[3]云环境下科学工作流执行优化策略的研究[D]. 段菊.西北师范大学 2016
[4]带截止期约束的多模态云服务工作流调度方法[D]. 张跃.东南大学 2015
[5]云环境下的工作流调度方法研究[D]. 刘海涛.北京理工大学 2015
[6]云计算独立任务及关联任务调度算法研究[D]. 张晓磊.重庆大学 2014
本文编号：3073288
【文章来源】：天津科技大学天津市
【文章页数】：53 页
【学位级别】：硕士
【部分图文】：
图３－１科学工作流ＤＡＧ模型??
?３基于简单规则的批处理科学工作流Ｄｅａｄｌｍｅ划分方法???巨大，需要利用分布式处理环境进行并行处理，因此这些节点变成了由批量独立任务??构成的批处理任务组，在原有科学工作流模型的基础上形成了批处理科学工作流［６９］。??为了方便描述，对批处理科学工作流进行如下建模：??１）图３－２为一个批处理科学工作流ＤＡＧ?（Ｄｉｒｅｃｔｅｄ?Ａｃｙｃｌｉｃ?Ｇｒａｐｈ），对于一个标??准的ＤＡＧ图来说，入口节点是其他所有任务的前驱节点，其优先度是最高的，故在??所有任务节点中入口节点应该最先获得调度，出口节点与之同理［７＜）］。???２０＾—２０—２０；－?—１０—１０—１０—??????Ｃ（＾?ｄ）?＾））Ｂｏ?（ｊ）?＾）Ｔ?喊会?Ｊｇ〇Ｂ６??ｂｉ?ｂ?）Ｂ？??ｒＳ?￥））?Ｂｚ?（Ｓ?＆）?Ｂ５ｉ?ｋ?（§?＾）??Ｓｌ??ｉ任务单元（）任务批??图３－２标准批处理科学工作流ＤＡＧ图??Ｆｉｇ．３－２?Ｓｔａｎｄａｒｄ?ｂａｔｃｈ?ｐｒｏｃｅｓｓｉｎｇ?ｓｃｉｅｎｃｅ?ｗｏｒｋｆｌｏｗ?ＤＡＧ?ｄｉａｇｒａｍ??２）需要进行任务调度的任务批为「Ｕ２，…，Ｃ）５其中（代表编号为／的任务节点。在??每一个任务节点上包含若干个子任务，即ｃ＝（（（ｉＵ（２），．ｗ），（（＊）代表彳任务节点上的??第左个任务包。??３）定义批处理科学工作流为有向无环图ＤＡＧ，任务节点（为有向无环图ＤＡＧ上??的一个节点。??４）假设云平台提供Ｗ种不同类型的虚拟机，将任务节点（上的９个子任务调度到??不同虚拟机上的期望运行时间ＥＴＣ?（ｅｘｃｅｐｔｅｄ?ｔｉｍｅ?ｔｏ?ｃｏｍｐｕｔｅｒ）是一个所的矩阵，?
?４基于改进遗传算法的批处理科学工作流Ｄｅａｄｌｉｎｅ划分方法???（?瓶?＾??ｉ??生成切始种群???］ｒ???ｉ十篤每个个体的适应??度值???ｉｊｒ???以暖率遗传ｓ子．￣??不■进行交艾变舜操??作．淘汰劣质解．：主成?ｉ??新的解。?ｊ?ｔｒ???］?ｒ???得－＿到新的种群??丄??７３Ｅ??经过多次迭代达刻停止??条饽时，根据适应度函??数保留一＾最＿??非关键蹈径虚拟机使??用数Ｓ收缩操作???］［???（?親）??图４－１改进遗传算法算法流程图??Ｆｉｇ?．４－１?ｆｌｏｗ?ｃｈａｒｔ?ｏｆ?ｉｍｐｒｏｖｅｄ?ｇｅｎｅｔｉｃ?ａｌｇｏｒｉｔｈｍ??２０??
【参考文献】：
期刊论文
[1]基于云计算系统的数据传输安全与存储安全的策略研究[J]. 赵瑞芬. 信息与电脑(理论版). 2018(23)
[2]云计算环境下虚拟机部署策略研究[J]. 袁爱平. 计算机与数字工程. 2018(08)
[3]截止时间约束云工作流调度代价优化遗传算法[J]. 余科军,张建州. 计算机工程与设计. 2018(07)
[4]基于遗传算法的云任务调度改进算法[J]. 任金霞,黄艺培,钟小康. 江西理工大学学报. 2018(03)
[5]云科学工作流中任务可完成性预测方法[J]. 吴修国,苏玮. 计算机研究与发展. 2018(03)
[6]云计算环境下基于改进遗传算法的多维约束任务调度研究[J]. 李超,戴炳荣,旷志光,吴小丽,孙融清. 小型微型计算机系统. 2017(09)
[7]云计算环境下差异化资源的合理调度模型改进[J]. 陈榕利,陈晓忠,方兴. 现代电子技术. 2017(12)
[8]云计算基于遗传粒子群算法的多目标任务调度[J]. 刘春燕,杨巍巍. 计算机技术与发展. 2017(02)
[9]基于混合遗传算法的并行测试任务调度研究[J]. 秦勇,梁旭. 国外电子测量技术. 2016(09)
[10]面向数据密集型工作流的QoS-aware调度算法[J]. 万聪,王翠荣,王聪. 系统仿真学报. 2016(03)
博士论文
[1]云计算环境下工作流应用的资源供应方法[D]. 蔡志成.东南大学 2015
硕士论文
[1]面向云数据中心的动态高能效虚拟机调度算法研究[D]. 徐舒婷.西北大学 2017
[2]云计算环境下虚拟资源调度策略的研究[D]. 黄青.武汉理工大学 2017
[3]云环境下科学工作流执行优化策略的研究[D]. 段菊.西北师范大学 2016
[4]带截止期约束的多模态云服务工作流调度方法[D]. 张跃.东南大学 2015
[5]云环境下的工作流调度方法研究[D]. 刘海涛.北京理工大学 2015
[6]云计算独立任务及关联任务调度算法研究[D]. 张晓磊.重庆大学 2014
本文编号：3073288
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3073288.html
