分布式机器学习集群的资源调度机制研究

发布时间：2022-01-24 01:05

　　近年来,越来越多的公司部署分布式机器学习集群用来训练机器学习模型,以提供各种人工智能驱动的服务。与此同时,机器学习任务也给集群资源调度（为任务匹配合适的资源）带来了一些独特的挑战,如复杂的资源-训练速度关系、任务完成时间不可预知等。现有的相关研究大多基于研究者对特定的机器学习框架和工作负载的理解对资源-任务完成时间建立白盒模型,再通过启发式算法求解。白盒模型的准确性会极大的影响资源调度的性能且不具备通用性。因此,本文引入黑盒优化技术来解决分布式机器学习集群的资源调度问题,主要的工作如下:1.当集群中的机器学习模型为生产级模型时,用户主要关心模型的训练时间。资源调度问题主要考虑如何为每个任务选择合适的物理计算节点上以使得总任务完成时间最小。本文对该问题进行了形式化数学建模,并对该问题存在的挑战进行了深入分析,提出了一种基于贝叶斯优化的资源调度算法,首次引入贝叶斯优化这种黑盒优化算法来解决该问题,并在其中提出了收敛曲线学习子算法来解决机器学习训练迭代次数未知的问题。本文对4种不同的概率代理模型和采集函数组合的贝叶斯优化子算法以及其他目前领先的研究进行了实验对比。实验结果表明,贝叶斯优化子算... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：81 页

【学位级别】：硕士

【部分图文】：

贝叶斯优化过程示例图

助采样的子训练数据集进行训练；在预测的时候，通过对多棵决策树的预测结果取平均得到最终的结果。随机森林回归模型固有的并行性，以及对数据进行下采样的特点，使得随机森林回归非常适用于大规模数据集。此外，如果每个样本的特征维度为M，随机森林回归指定一个常数，随机地从M个特征中选取m个特征子集，每次树进行分裂时，从这m个特征中选择最优的特征。这一特点使得随机森林回归非常适用于高维搜索空间。更重要的是，随机森林回归在处理各种数据类型时继承了决策树的灵活性，可以很容易的处理离散型变量、分类变量等。图3-9概率代理模型的对比。（a）高斯过程；（b）随机森林。虽然随机森林回归在训练数据附近的数据点能够快速得到高精度预测，但是在远离训练数据的数据点的预测效果通常都很差。因为，对于远离训练数据的数据点，所有决策树的预测可能都是相同的，导致集成学习并不能提升预测的精度。更重要的是，随机森林回归模型本身不提供对预测值的不确定性估计，SMAC算法用每棵决策树的预测值之间的经验方差作为随机森林回归的预测值的方差。这种方差估计可能导致非常极端的置信区间。如图3-9所示，图3-9（a）为高斯过程，图3-9（b）为随机森林回归。蓝色实线表示后验均值，阴影部分划定了95%（a）（b）

电子科技大学硕士学位论文58（3）树形，这种通信模式的典型代表为采用BinaryTree这种AllReduce架构的分布式机器学习任务。数据使用类似树的结构进行聚合和分发。通信时间和log()成正比，可以用3×log()表示。（4）蝶形，这种通信模式的典型代表为采用Butterfly这种AllReduce架构的分布式机器学习任务。通信时间也和log()成正比，同样可以用4×log()表示。其他一些更复杂的通信模式，都可以视为上述通信模式的变体和组合。比如文献[50]提出的分层AllReduce架构，如图4-5所示，可以视为环形和一对多的组合。其中环形的工作节点数目可以用0×表示，一对多的工作节点可以用1×，综合起来通信时间可以表示为：1×1×+2110×=1′×+2′×1+2(4-10)图4-5分层AllReduce架构综上，资源-单次迭代时间模型可以建模为：=0×1+1×+2×()+3(4-11)最后将收敛曲线的参数和资源-单次迭代时间模型的参数结合起来就得到分布式机器学习任务的编码[0,1,2,0,1,2,3]。在小规模集群、小规模数据集上学习到的收敛曲线和资源-单次迭代时间模型，必然不是精确的，并且也没有考虑集群中其他任务的干扰问题。但是这里并不是直接基于该收敛曲线和资源-单次迭代时间模型分配资源。而是用学习到的参数向Agent描述这个任务，这些参数包含了关于模型的损失函数和训练速度的信息，可以帮助Agent做出正确的决策。4.3.2标准化模型性能度量不同的机器学习任务通常有不同的性能度量指标。例如，对于分类任务最常用的性能度量是错误率和精度，错误率是分类错误的样本数占样本总数的比例，

【参考文献】：
期刊论文
[1]贝叶斯优化方法和应用综述[J]. 崔佳旭,杨博.  软件学报. 2018(10)



本文编号：3605523