多云环境中吞吐量和预算约束下的工作流调度算法研究

发布时间：2023-11-04 09:56

　　随着云计算基础设施的快速发展和部署,利用云资源进行数据存储和分析的技术已被许多科学领域广泛应用。但是如何在多云环境中管理科学工作流和执行流数据集已经成为一项重大挑战。科学工作流中的计算模块一般由数据生成、处理和分析等一系列计算任务组成,同时流式工作流(Streaming Workflow)不断产生大量的实验或模拟数据集,也需要在某些性能和计算资源限制的情况下进行及时处理。为了满足不同领域的科学家优化各种目标的要求以及不断扩大的应用程序规模,通常需要在多云环境中部署数据和网络密集型的科学工作流,如何降低云间数据传输成本面临着巨大挑战。本文考虑了两个不同目标约束下的多云环境中流式工作流调度问题,即在预算约束下最大化流式工作流的吞吐量(MaxStream-MC)和在吞吐量约束下最小化流式工作流的执行成本(MinStream-MC)。本文所研究的内容,主要包括以下几个方面:(1)本文使用了具有云间和云内数据传输的工作流三层架构。该架构分为三层:i)顶层由许多计算模块组成,这些计算模块之间具有执行并行性和依赖性;ii)中间层定义了位于不同数据中心的物理机上配置虚拟机类型;iii)底层定义了许多分...

【文章页数】：79 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 多云环境中科学工作流的研究背景与意义
    1.2 科学工作流的研究现状
    1.3 研究内容
    1.4 论文组织结构与章节安排
第二章 多云环境中工作流调度方法的介绍和分析
    2.1 工作流系统的功能描述
    2.2 科学工作流调度的介绍和分析
        2.2.1 科学工作流的数学模型
        2.2.2 基于元启发式的工作流调度
        2.2.3 基于启发式的工作流调度
        2.2.4 基于元启发式和启发式的工作流混合调度
    2.3 本章小结
第三章 多云环境中科学工作流调度的数学模型和问题制定
    3.1 采用的工作流调度三层构架介绍
    3.2 多云环境中吞吐量和预算约束下的流式工作流调度的数学模型
        3.2.1 时间模型
        3.2.2 执行成本模型
        3.2.3 吞吐量模型
    3.3 问题的定义和复杂度的证明
        3.3.1 多云环境中预算约束下工作流调度问题的定义
        3.3.2 多云环境中吞吐量约束下工作流调度问题的定义
        3.3.3 问题复杂度证明
    3.4 本章小结
第四章 多云环境中工作流调度算法的设计
    4.1 多云环境中预算约束下工作流调度算法设计
        4.1.1 启发式算法B-StreamWS的设计
        4.1.2 子算法B-AssignVT的设计
        4.1.3 子算法B-SelectPM的设计
        4.1.4 启发式算法B-StreamWS复杂度分析
    4.2 部分关键路径算法PCP的设计
    4.3 多云环境中吞吐量约束下工作流调度算法设计
        4.3.1 启发式算法FR-StreamWS的设计
        4.3.2 子算法FR-AssignVT的设计
        4.3.3 子算法FR-SelectPM的设计
        4.3.4 启发式算法FR-StreamWS复杂度分析
    4.4 本章小结
第五章 两个启发式算法的仿真及性能评估
    5.1 仿真实验程序构架
    5.2 仿真实验环境和性能评价标准
        5.2.1 仿真实验环境
        5.2.2 性能评价目标
        5.2.3 对比算法实现过程的描述
    5.3 仿真实验结果分析
        5.3.1 算法B-StreamWS仿真实验结果的分析
        5.3.2 算法FR-StreamWS仿真实验结果的分析
    5.4 本章小结
总结与展望
    总结
    展望
参考文献
致谢
攻读硕士学位期间取得的科研成果



本文编号：3860074