Spark平台下电影推荐系统的设计

发布时间：2021-10-20 03:46

　　传统基于Hadoop或单机下基于Mahout构建的电影推荐系统面对数据量不断增大以及推荐算法模型需要大量迭代的情况时,会出现推荐效果差、运行速度明显下降、无法实时为用户进行个性化推荐的情况。针对以上问题,以电影评分数据集为背景,使用Hadoop、Spark、Kafka、Hive等大数据处理技术进行系统架构搭建,并采用改进后的余弦相似性的协同过滤和基于用户喜爱物品的物品协同过滤算法对MLlib协同过滤算法模型进行改进,对离线数据以及实时数据进行计算,产生TOP-N推荐结果,实现Spark平台下电影推荐系统。实验结果表明,在Spark平台下,该系统相较传统方法不仅数据处理速度和推荐准确性显著提升,而且稳定性更强。 

【文章来源】：计算机应用与软件. 2020,37(11)北大核心

【文章页数】：7 页

【部分图文】：

Spark运行框架

在考虑系统架构设计时,需考虑后期各个模块的可维护性和可扩展性[14]。本系统包括三个主要的子系统模块,分别是前端展示系统、后端数据管理系统,以及离线数据推荐与实时数据推荐模块,具体的系统架构如图2所示。图2中的系统总体架构设计包括展示层、应用层、数据处理层及存储层四个层次,每层的详细信息如下:

前端展示子系统功能模块图


本文编号：3446183