基于Spark的混合推荐算法研究

发布时间：2018-06-28 18:45

  本文选题：推荐算法 + 分布式计算　； 参考：《计算机应用研究》2017年12期

【摘要】：随着电子商务的发展,传统的单机计算模型难以满足海量数据的实时推荐需求,基于协同过滤的推荐算法的缺陷也越来越明显。为此,提出一种利用Spark计算模型实现分布式推荐的方法。该推荐方法采用基于谱聚类和朴素贝叶斯的混合推荐算法,同时使用增量式更新,在不全部重新训练模型的基础上,对模型进行局部修改。实验结果表明,较传统的单机模式推荐算法,基于Spark计算模型的分布式推荐算法在一定程度上克服了数据稀疏性,提高了系统的可扩展性,降低了系统的响应时间。
[Abstract]:With the development of electronic commerce, the traditional single-machine computing model can not meet the real-time recommendation requirements of mass data, and the shortcomings of the recommendation algorithm based on collaborative filtering are becoming more and more obvious. Therefore, a method of distributed recommendation based on Spark computing model is proposed. In this method, a hybrid recommendation algorithm based on spectral clustering and naive Bayes is used, and incremental updating is used to modify the model on the basis of not completely retraining the model. The experimental results show that the distributed recommendation algorithm based on Spark computing model overcomes the data sparsity improves the scalability of the system and reduces the response time of the system.
【作者单位】： 上海理工大学光电信息与计算机工程学院;上海理工大学计算机软件技术研究所;
【基金】：国家自然科学基金资助项目(61170277,61472256) 上海市教委科研创新重点资助项目(12zz137) 上海市一流学科建设资助项目(S1201YLXK)
【分类号】：TP391.3

【相似文献】

相关期刊论文 前10条

1 徐义峰;徐云青;刘晓平;;一种基于时间序列性的推荐算法[J];计算机系统应用;2006年10期

2 余小鹏;;一种基于多层关联规则的推荐算法研究[J];计算机应用;2007年06期

3 张立燕;;一种基于用户事务模式的推荐算法[J];福建电脑;2009年03期

4 王晗;夏自谦;;基于蚁群算法和浏览路径的推荐算法研究[J];中国科技信息;2009年07期

5 周珊丹;周兴社;王海鹏;倪红波;张桂英;苗强;;智能博物馆环境下的个性化推荐算法[J];计算机工程与应用;2010年19期

6 王文;;个性化推荐算法研究[J];电脑知识与技术;2010年16期

7 张恺;秦亮曦;宁朝波;李文阁;;改进评价估计的混合推荐算法研究[J];微计算机信息;2010年36期

8 夏秀峰;代沁;丛丽晖;;用户显意识下的多重态度个性化推荐算法[J];计算机工程与应用;2011年16期

9 杨博;赵鹏飞;;推荐算法综述[J];山西大学学报(自然科学版);2011年03期

10 尹长青;杨单稷;;基于视频的智能推荐算法[J];科技传播;2011年22期

相关会议论文 前7条

1 王韬丞;罗喜军;杜小勇;;基于层次的推荐:一种新的个性化推荐算法[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

2 唐灿;;基于模糊用户心理模式的个性化推荐算法[A];2008年计算机应用技术交流会论文集[C];2008年

3 秦国;杜小勇;;基于用户层次信息的协同推荐算法[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

4 梁莘q，

本文编号：2078981