基于Spark平台的ALS加速算法研究

发布时间：2021-08-17 17:54

　　协同过滤推荐算法在推荐系统中发挥着重要作用,但其存在执行效率与排名精度较低的问题,交替最小二乘（ALS）算法可实现并行计算,从而提高执行效率,但是该算法数据加载与迭代收敛的时间较长。为此,将非线性共轭梯度（NCG）算法与ALS算法相结合,提出一种ALS-NCG算法,以达到加速ALS算法的目的。在Spark分布式数据处理环境中对ALS-NCG算法进行性能评估,实验结果表明,相比ALS算法,ALS-NCG算法获取高精度推荐排名时需要的迭代次数与时间更少。 

【文章来源】：计算机工程. 2020,46(02)北大核心CSCD

【文章页数】：7 页

【部分图文】：

数据在RDD上的分区

路由表构建在ALS算法的While循环之前,具体布局如图2所示,每次迭代无需重新计算,同理,更新M与U类似。矢量 x — 、g、 g — 以及P均被存储在2个单独的RDD中,使与其相关的分量存储在同一个RDD,且分割方式与U类似。路由表策略可以确保所有的矢量块在矢量运算中按照成分对齐,从而实现了各数据的RDD存储以及RDD的分配运行。3 实验结果与分析

图3表示不同规模的评分矩阵下2种算法在迭代次数相同时所用时间比值的变化趋势,可以看出,ALS-NCG在时间消耗上比ALS小很多,随着矩阵规模的增大,ALS-NCG的加速效果更明显,性能更加优越。在不同收敛值时,ALS与ALS-NCG的时间性能比值变化趋势近似一致,可见,将改进的组合算法应用于大数据环境中,即使收敛值扩大到10-3,也可以达到同样的加速效果。3.4 ALS-NCG算法与ALS算法排名精度比较

【参考文献】：
期刊论文
[1]基于位置的移动推荐系统效用评价研究[J]. 孟祥武,梁弼,杜雨露,张玉洁.  计算机学报. 2019(12)
[2]一种基于信任机制的概率矩阵分解协同过滤推荐算法[J]. 王建芳,苗艳玲,韩鹏飞,刘永利.  小型微型计算机系统. 2019(01)
[3]基于信任机制下概率矩阵分解的用户评分预测[J]. 杜东舫,徐童,鲁亚男,管楚,刘淇,陈恩红.  软件学报. 2018(12)
[4]MapReduce与Spark用于大数据分析之比较[J]. 吴信东,嵇圣硙.  软件学报. 2018(06)
[5]社交网络中基于信任的推荐算法[J]. 刘英南,谢瑾奎,张家利,杨宗源.  小型微型计算机系统. 2015(06)

硕士论文
[1]几种融合非线性共轭梯度法的研究[D]. 齐昌霞.燕山大学 2017



本文编号：3348224