基于Spark平台的个性化新闻推荐系统研究

发布时间：2025-04-01 02:32

　　在新闻传媒领域,存在着大量的用户对其看过的新闻的阅览及兴趣度等信息,因此如何在海量不断更新的新闻中挖掘出用户的阅览需求,量身定制用户的个性化新闻推荐,对于提升用户的体验变的尤为重要。此外,随着用户量、新闻量及其数据待处理量的不断增长,解决可扩展性的问题成为推荐系统发展中最主要问题,而将Spark分布式大数据计算平台与推荐系统结合可以有效地解决这个问题。论文首先总结分析了应用较为广泛的推荐算法、粒子群算法、基于密度的聚类算法-DBSCAN聚类等。同时,文中详细说明了在分布式计算平台Spark中,最为主要的三个组成部分:Spark RDD(弹性分布式数据集)、Spark MLlib(机器学习功能程序库)以及Spark运行框架的基本工作原理。并对基于LFM隐语义模型的协同过滤推荐算法及其并行化实现进行了针对性研究。其次提出了基于粒子群算法的DBSCAN聚类算法,简称为PSO-DBSCAN算法,对LFM算法进行了深入分析并用时间函数与用户相似度计算函数对其进行改进,最终提出了结合PSO-DBSCAN算法与改进LFM算法的融合推荐算法:用时间函数对用户-物品兴趣度矩阵进行加权处理,再用LFM模型对...

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

图1网易云音乐个性推荐界面

信息化社会不断发展的推动下，推荐系统已经得到了广泛应用，这样的例子有很多被我们所熟知。比如国外有一个音乐推荐系Ringo，这个系统会分析所有使用者对歌曲的评分情况，从而计算出这些用户之间的相似度，然后再根据相似度的结果，把用户划分到兴趣类中，同一个兴趣类中的用户之间就可以互相推....

图2推荐系统模块间关系

推荐系统的基础理论展和网络的迅速普及，人们，迅速跨入一个具有海量信问题，先后出现了分类目录统与其他不同的区别主要是个性化推荐服务，并且所推变化，高性能的推荐系统能要的信息，从而大幅度提示通常意义上来讲，至少应该展示[23]，这几个模块之间的

图3基于用户的协同过滤推荐算法示例

过滤的推荐算法法的原理是分析用户与物品之间的关系数据，利用化推荐。常用的协同过滤算法主要有两类：基于领协同过滤算法。下面针对这两类协同过滤算法进行域的协同过滤算法主要思想是利用用户对物品的打分矩阵也就是用户的信息进行分析，在这个分析过程中，计算每个项后再利用相似度排序得到最终推荐....

图4基于物品同过滤推荐算法的示例

华北理工大学硕士学位论文通过观察这三个用户的新闻喜好记录可以看出，用户甲和用户丙有着相似注爱好点，用户甲还阅读了新闻A，可以推测出，用户丙在阅读过程中，能会阅读新闻A，然后，将新闻A推荐给用户丙。基于物品的协同过滤推荐原理上与基于用户的协同过滤推荐类似，它主要析用户的历史....

本文编号：4038805