随机梯度下降算法在分布式集群下的研究及其应用

发布时间：2022-01-04 18:38

　　机器学习作为人工智能领域内的一个重要方向已经在今天发挥出了越来越重要的作用,随着机器学习相关算法解决了越来越多的问题的同时,人们也面临着一些新的因为数据量大、模型大、计算量大从而单机无法解决的问题。正是由于这些问题在单台机器上的不可行,人们自然而然的就想到使用多台高性能计算机去加速模型的训练。然而,在大多数的情况下并不是直接使用多台机器去训练就可以直接得到相应的提升的。从机器学习理论的角度来讲,大多数的算法可以形式化为求一个由损失函数和正则化项所组成的目标函数的条件最值的问题。而求解这一问题最常用的方式就是用优化函数求解。对于一阶函数而言,最常用的优化算法就是随机梯度下降算法。所以我们认为,首先在随机梯度下降算法上研究算法的并行化问题可以有较为显著的收益。主成份分析（PCA）算法和奇异值分解（SVD）广泛应用于机器学习的各个领域之中。在实际应用中,在整个问题中求解一个PCA子问题所占用的时间开销往往是巨大的。我们基于方差递减的随机梯度下降的方法提出了一种快速分布式主成份分析算法。使用随机采样更新目标,并采用延迟同步作为我们的同步机制。近年来,由于深度神经网络在不同方面的出色表现,深度神... 

【文章来源】：国防科技大学湖南省 211工程院校 985工程院校

【文章页数】：62 页

【学位级别】：硕士

【部分图文】：

块同步并行机制

图1.2全异步并行机制（3）如图1.3所示，延迟同步机制（Stale Synchronous Parallism, SSP）可以SP和TAP中的一种折中，具有更好的鲁棒性。SSP机制相比BSP机制减时间，相比TAP机制提高了收敛性。这一观点已经被很多新近的工作所5, 30]。

图1.2全异步并行机制（3）如图1.3所示，延迟同步机制（Stale Synchronous Parallism, SSP）可以SP和TAP中的一种折中，具有更好的鲁棒性。SSP机制相比BSP机制减时间，相比TAP机制提高了收敛性。这一观点已经被很多新近的工作所5, 30]。

【参考文献】：
期刊论文
[1]基于GraphX的分布式幂迭代聚类[J]. 赵军,徐晓燕.  计算机应用. 2016(10)



本文编号：3568862