基于深度强化学习的高效能云任务调度算法研究

发布时间：2023-02-21 10:08

　　云计算是现代信息社会重要的基础设施,云任务调度作为云计算中最重要的一项技术,直接关乎用户和云服务提供商的利益。传统的云任务调度算法往往采用固定的策略进行调度,这类算法实现简单,同时拥有较高的调度效率,在一定程度上解决了离线任务调度问题。随着云计算的广泛应用和任务调度规模日益增加,在线任务调度存在数据中心集群高异构性、集群运行环境和任务提交数量高波动性、优化目标多样性等问题,传统的算法不能够动态的改变自己的调度策略来高效的进行在线任务调度。近年来,深度强化学习在理论研究上取得了巨大的成功,本文旨在研究基于深度强化学习的云任务调度算法来改善上面的问题。本文的主要内容及贡献如下:1)在单数据中心任务调度的场景下,针对数据中心集群高异构性问题,本文通过对深度强化学习中智能体的动作、状态和奖励进行建模,提出了基于改进深度Q学习算法的云任务调度算法。为了增强智能体的探索能力,算法中使用了Boltzmann动作探索策略对传统的动作探索策略进行改进。在模拟数据集上的实验显示,该算法拥有良好的收敛性,CPU利用率标准差降低了6.7%,有效促进了集群负载均衡,任务的指令响应时间比提升了5.3%,实现了高效...

【文章页数】：105 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 研究背景意义
    1.2 国内外研究现状
        1.2.1 云计算和云任务调度
        1.2.2 深度强化学习
    1.3 论文主要工作及贡献
    1.4 论文的组织结构
第2章 云任务调度及深度强化学习概述
    2.1 云计算中的任务调度
        2.1.1 云任务调度基本流程
        2.1.2 云任务调度优化目标
        2.1.3 云任务调度常见算法
    2.2 强化学习理论基础
        2.2.1 马尔科夫决策过程
        2.2.2 常用强化学习方法
    2.3 深度强化学习理论基础
        2.3.1 深度神经网络模型
        2.3.2 深度Q学习算法
        2.3.3 深度确定性策略梯度算法
    2.4 本章小结
第3章 基于深度强化学习的云任务调度
    3.1 场景建模与优化目标
        3.1.1 云任务调度环境建模
        3.1.2 优化目标公式化
    3.2 基于深度Q学习的云任务调度
        3.2.1 状态空间、动作空间、奖励函数设计
        3.2.2 Boltzmann动作探索策略
        3.2.3 云任务调度算法设计
    3.3 基于深度确定性策略梯度的云任务调度
        3.3.1 状态空间、动作空间、奖励函数设计
        3.3.2 基于最早调度算法的动作探索策略
        3.3.3 动作网络离线训练改进方法
        3.3.4 云任务调度算法设计
    3.4 仿真实验及结果分析
        3.4.1 实验环境及配置
        3.4.2 实验数据
        3.4.3 基于深度Q学习的云任务调度算法实验
        3.4.4 基于深度确定性策略梯度的云任务调度算法实验
    3.5 本章小结
第4章 基于深度确定性策略梯度的多数据中心云任务调度
    4.1 场景建模与优化目标
        4.1.1 多数据中心云任务调度环境建模
        4.1.2 优化目标公式化
    4.2 基于深度确定性策略梯度的多数据中心云任务调度
        4.2.1 状态空间、动作空间、奖励函数设计
        4.2.2 成本感知的动作探索策略
        4.2.3 云任务调度算法设计
    4.3 仿真实验及结果分析
    4.4 本章小结
第5章 云任务调度仿真系统设计与实现
    5.1 需求分析
    5.2 系统总体设计
    5.3 各功能模块设计与实现
        5.3.1 数据生成模块
        5.3.2 任务模块
        5.3.3 调度算法模块
        5.3.4 集群模块
        5.3.5 虚拟机模块
        5.3.6 数据存储与分析模块
    5.4 本章小结
第6章 总结与展望
    6.1 总结
    6.2 展望
参考文献
致谢
作者简历及攻读学位期间发表的学术论文与研究成果



本文编号：3747542