云平台多任务并发调度策略推荐系统的设计与实现

发布时间：2025-01-01 04:20

　　近年来大数据迅速发展,对数据的高速处理能力要求也越来越高。工程师们关注的实际业务的同时,云平台的实际处理能力也受到越来越多的关注。目前,世界各大型互联网公司均推出自己的云计算平台,为自己同时对外提供服务。于此同时,国内政府研究机构也在搭建私有云平台,用于处理保密性高的数据分析业务。随着业务量的不断提升,云平台的各种问题也逐渐暴露出来,例如资源抢占,负载均衡,任务拥塞等问题。因此,如何进行任务调度和资源分配是当前云平台领域亟待解决的重要问题。本文提出一种以任务优先级、任务估计执行时间为依据的多任务并发调度策略生成和选择方法。设计和实现了云平台多任务并发调度策略推荐系统。该系统能够对PaaS云平台的作业进行合理的切分,并能够选择作业原子任务执行的最优资源配比进行资源分配,选择估计执行时间最小的节点执行作业的某一划分。除此以外,针对任务估计执行时间预测存在高误差的问题,提出基于决策树的误差修正方法修正预测误差。云平台多任务并发调度策略推荐系统的设计与实现针对单线程的任务在不同机器硬件型号的CPU、内存、网卡等因素下的任务执行时间分布测试;不同资源配比下的任务执行时间分布的研究。通过研究任务切分...

【文章页数】：83 页

【学位级别】：硕士

【部分图文】：

图4-1任务形式化描述

图4-1任务形式化描述图4-2任务状态形式化描述JobState是任务状态列表，是对于任务状态的形式化描述。JobId表示ID，state表示任务的状态（包括提交、调度、执行、执行失败等状态atetime表示状态监测时间。.2任务管理功能模块实现任务管理的模块系....

图4-2任务状态形式化描述JobState是任务状态列表，是对于任务状态的形式化描述

-34-图4-2任务状态形式化描述JobState是任务状态列表，是对于任务状态的形式化描述。JobId表示ID，state表示任务的状态（包括提交、调度、执行、执行失败等状态tetime表示状态监测时间。2任务管理功能模块实现任务管理的模块系统负责任务提交、任....

图4-6镜像形式化描述在图4-6中Dockers表示镜像列表，是镜像的集合，每一个镜像Docker的定义为Dockers集合中的的一个元素

哈尔滨工业大学工程硕士学位论文删改查基本功能。用户通过Web提交镜像配置表单或JSON文件，后台解自动化构建docker镜像，并将镜像信息存储到Mysql数据库中。通过镜像或镜像名可以查找镜像，并可以选定镜像进行删除操作。本节介绍镜像配监测功能的数据描述、流程介....

图4-7镜像状态形式化描述在图4-7中，DockersState表示资源服务器节点的被创建的镜像容器状态信息集合，对于每一个镜像容器的状态其数据描述如上所示

哈尔滨工业大学工程硕士学位论文id表示创建镜像的Id,由用户创建添加，但要保证Id的唯一性，否者无法创建成功；cmd表示镜像一旦被启动要执行的命令或者开启的软件；cpus表示镜像默认分配的cpu核数；mem表示镜像默认的运行内存；instances表示镜像可允....

本文编号：4022024