数据密集型批处理工作流的任务调度与虚拟机整合
发布时间：2021-05-07 11:56
云计算技术给大数据工作流的处理提供了新的技术支持和发展契机。数据密集型应用是大数据背景下最普遍的应用之一,由于数据量大、带宽瓶颈等条件的限制,因此通常将同一类型的多个工作流实例进行合并处理形成批处理工作流进行工作流调度来提高执行效率,但数据通信往往是数据密集型应用的性能瓶颈,再加上许多工作流的应用存在时间约束问题,因此合理的调度策略对于时间受限的数据密集型批处理工作流尤为重要。合理的调度策略不仅可以有效减少跨节点的数据传输,而且可以优化工作流的整体执行效率和资源租赁成本。本文在借鉴前人工作的基础上,围绕数据密集型批处理工作流的任务调度的整体执行效率和资源租赁成本和相关技术进行了探讨与研究,为了解决跨节点的数据传输量、整体执行效率和资源租赁成本优化问题,本文从以下三个方面进行了研究:一是虚拟机类型初始化分配。本文提出整数规划算法,通过对虚拟机类型问题进行整数规划建模,并利用CPLEX方法进行虚拟机类型最终求解,进而确定任务初始化虚拟机类型、合适的任务执行时间以及获得较好的性价比,然后提出改进的局部任务的关联度聚类算法,使数据传输频繁的任务作为整体进行后续调度,以优化全局数据通信。二是工作...
【文章来源】：天津科技大学天津市
【文章页数】：61 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
1 绪论
1.1 课题研究背景及意义
1.1.1 课题背景
1.1.2 研究意义
1.2 国内外研究动态及发展趋势
1.3 章节安排
2 批处理工作流调度相关概念
2.1 云计算概述
2.2 科学工作流的建模与应用
2.3 批处理工作流的建模与应用
2.4 批处理工作流调度研究
2.5 本文仿真平台
2.6 本文测试用例来源
2.7 本章小结
3 虚拟机类型初始化分配和聚类算法
3.1 算法的基本原理
3.1.1 虚拟机初始化分配算法基本原理
3.1.2 聚类算法基本原理
3.2 初始化分配算法设计与实现
3.2.1 第1阶段(整数规划建模)
3.2.2 第2阶段(CPLEX方法进行求解)
3.3 聚类算法设计与实现
3.3.1 现有的聚类算法
3.3.2 TCA聚类算法
3.4 仿真实验与分析
3.4.1 聚类算法实验对比结果
3.5 本章小结
4 工作流截止期划分算法
4.1 算法的基本原理
4.1.1 虚拟机初始化分配算法基本原理
4.2 基于浮动区间的任务截止期划分
4.2.1 关键路径生成
4.2.2 任务截止期划分
4.3 本章小结
5 聚类下的批处理工作流调度算法
5.1 基于深度的任务调度次序
5.2 批处理工作流调度算法
5.2.1 MFA任务调度算法
5.2.2 改进的动态的MFA任务调度算法
5.3 实验参数与对比试验结果
5.3.1 启发式规则权重选择
5.3.2 MFA算法实验对比结果
5.3.3 改进动态的RMFA对比结果
5.4 本章小结
6 结论与展望
6.1 全文总结
6.2 论文的创新点与展望
6.2.1 创新点
6.2.2 展望
7 参考文献
8 攻读硕士学位期间论文发表情况
9 专利
10 致谢
【参考文献】：
期刊论文
[1]大数据云计算技术及其应用研究[J]. 孙培锋. 信息技术与信息化. 2018(12)
[2]基于HDFS的云盘系统设计与实现[J]. 汤海林. 电脑知识与技术. 2018(36)
[3]基于云计算系统的数据传输安全与存储安全的策略研究[J]. 赵瑞芬. 信息与电脑(理论版). 2018(23)
[4]面向云计算的期限约束的MapReduce作业调度方法[J]. 周博,李亚琼,刘永波,李守超,宋云奎. 计算机与现代化. 2018(11)
[5]基于虚拟化的负载均衡机制在调度管理业务中的应用[J]. 吴鑫. 电力与能源. 2018(05)
[6]云环境中期限分割下工作流调度代价优化仿真[J]. 刘晓霞,李芳. 实验室研究与探索. 2018(10)
[7]基于Hadoop与Spark的大数据处理平台的构建研究[J]. 刘萍. 通化师范学院学报. 2018(06)
[8]门户网站分布式数据挖掘云平台架构分析[J]. 陈利萍. 数字技术与应用. 2018(05)
[9]云科学工作流中任务可完成性预测方法[J]. 吴修国,苏玮. 计算机研究与发展. 2018(03)
[10]面向云计算的分布式应用自动部署框架[J]. 李超,花磊,宋云奎. 计算机技术与发展. 2018(06)
博士论文
[1]云计算环境下工作流应用的资源供应方法[D]. 蔡志成.东南大学 2015
硕士论文
[1]面向云数据中心的动态高能效虚拟机调度算法研究[D]. 徐舒婷.西北大学 2017
[2]科学工作流调度优化问题研究[D]. 董炜航.电子科技大学 2017
[3]云计算环境下虚拟资源调度策略的研究[D]. 黄青.武汉理工大学 2017
本文编号：3173350
【文章来源】：天津科技大学天津市
【文章页数】：61 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
1 绪论
1.1 课题研究背景及意义
1.1.1 课题背景
1.1.2 研究意义
1.2 国内外研究动态及发展趋势
1.3 章节安排
2 批处理工作流调度相关概念
2.1 云计算概述
2.2 科学工作流的建模与应用
2.3 批处理工作流的建模与应用
2.4 批处理工作流调度研究
2.5 本文仿真平台
2.6 本文测试用例来源
2.7 本章小结
3 虚拟机类型初始化分配和聚类算法
3.1 算法的基本原理
3.1.1 虚拟机初始化分配算法基本原理
3.1.2 聚类算法基本原理
3.2 初始化分配算法设计与实现
3.2.1 第1阶段(整数规划建模)
3.2.2 第2阶段(CPLEX方法进行求解)
3.3 聚类算法设计与实现
3.3.1 现有的聚类算法
3.3.2 TCA聚类算法
3.4 仿真实验与分析
3.4.1 聚类算法实验对比结果
3.5 本章小结
4 工作流截止期划分算法
4.1 算法的基本原理
4.1.1 虚拟机初始化分配算法基本原理
4.2 基于浮动区间的任务截止期划分
4.2.1 关键路径生成
4.2.2 任务截止期划分
4.3 本章小结
5 聚类下的批处理工作流调度算法
5.1 基于深度的任务调度次序
5.2 批处理工作流调度算法
5.2.1 MFA任务调度算法
5.2.2 改进的动态的MFA任务调度算法
5.3 实验参数与对比试验结果
5.3.1 启发式规则权重选择
5.3.2 MFA算法实验对比结果
5.3.3 改进动态的RMFA对比结果
5.4 本章小结
6 结论与展望
6.1 全文总结
6.2 论文的创新点与展望
6.2.1 创新点
6.2.2 展望
7 参考文献
8 攻读硕士学位期间论文发表情况
9 专利
10 致谢
【参考文献】：
期刊论文
[1]大数据云计算技术及其应用研究[J]. 孙培锋. 信息技术与信息化. 2018(12)
[2]基于HDFS的云盘系统设计与实现[J]. 汤海林. 电脑知识与技术. 2018(36)
[3]基于云计算系统的数据传输安全与存储安全的策略研究[J]. 赵瑞芬. 信息与电脑(理论版). 2018(23)
[4]面向云计算的期限约束的MapReduce作业调度方法[J]. 周博,李亚琼,刘永波,李守超,宋云奎. 计算机与现代化. 2018(11)
[5]基于虚拟化的负载均衡机制在调度管理业务中的应用[J]. 吴鑫. 电力与能源. 2018(05)
[6]云环境中期限分割下工作流调度代价优化仿真[J]. 刘晓霞,李芳. 实验室研究与探索. 2018(10)
[7]基于Hadoop与Spark的大数据处理平台的构建研究[J]. 刘萍. 通化师范学院学报. 2018(06)
[8]门户网站分布式数据挖掘云平台架构分析[J]. 陈利萍. 数字技术与应用. 2018(05)
[9]云科学工作流中任务可完成性预测方法[J]. 吴修国,苏玮. 计算机研究与发展. 2018(03)
[10]面向云计算的分布式应用自动部署框架[J]. 李超,花磊,宋云奎. 计算机技术与发展. 2018(06)
博士论文
[1]云计算环境下工作流应用的资源供应方法[D]. 蔡志成.东南大学 2015
硕士论文
[1]面向云数据中心的动态高能效虚拟机调度算法研究[D]. 徐舒婷.西北大学 2017
[2]科学工作流调度优化问题研究[D]. 董炜航.电子科技大学 2017
[3]云计算环境下虚拟资源调度策略的研究[D]. 黄青.武汉理工大学 2017
本文编号：3173350
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3173350.html
