基于Spark的混合推荐电影系统的设计与实现

发布时间：2024-06-02 06:07

　　当前已进入大数据时代,网络的普及和应用,也产生了大量的数据信息。用户如何进行信息甄别,快速找到自己所需的,有价值的信息,是互联网从业者们亟需解决的问题。为筛选出有价值的正确信息,推荐系统开始逐渐发展起来。推荐系统记录并收集用户历史行为信息,通过大量信息运算分析出用户与用户、物品与物品两两之间的相似度,进而筛选出用户可能感兴趣的物品,成为一种主动性强,智能程度高的信息筛选技术。当前,推荐系统日益成熟,在移动网络应用中已得到了普及,如当前最流行的社交软件、电子商务、音视频领域。推荐系统要能充分了解用户最感兴趣的内容、从而把握他的需求,并能从大量的数据中快速找到有价值的信息。推荐系统若是结合了基于大数据的分布式计算平台,数据分析能力会更为强大,处理效率也会更高。这也是推荐系统的功能定位,更是大数据技术在实践中的具体应用。在Hadoop平台之后,又出现了Spark平台,这是一款基于内存的分布式计算系统,比起Hadoop模型,设计思想更为先进,引入了迭代并行化理念,不管是性能,还是速度,都更为优越。本文的研究分为以下几个部分:(1)搭建基于Spark环境的数据仓库,以应用于推荐应用引擎中,为分布...

【文章页数】：68 页

【学位级别】：硕士

【部分图文】：

图4.10电影评分界面

图4.10电影评分界面.4本章小结本章主要对基于Spark的混合模式电影推荐系统从工程开发的设计与实现方面来了介绍。主要包括对系统架构的设计、系统的流程设计以及系统的部署实现，系架构层面主要介绍了系统的整体架构以及系统后台的架构，并且对相应的架构图行了解释说明，系统的流....

图4-1推荐系统的功能模块划分Figure4-1Functionalmoduledivisionoftherecommendationsystem

第4章基于Spark的电影推荐系统设计与实现第29页/共61页第4章基于Spark的电影推荐系统设计与实现本章结合前文所介绍的Spark相关技术和所提出的混合推荐算法，以电影推荐系统为例，对系统需要的功能进行了划分，对系统的整体架构、混合推荐引擎、Web客户端架构以及MySQL数....

图2.1Spark系统架构图

广东工业大学硕士学位论文8图2.1Spark系统架构图Spark采用的框架是主从模型中的分布式计算。Master是集群主节点，其功能是负责任务管理和集群资源调度；Slave是集群从节点，负责任务的执行和计算，其作用是接受指令和汇报状态。如果Spark处于Yarn模式，Master....

图2.2Spark运行图

第二章相关技术9图2.2Spark运行图2.1.2Spark平台的设计理念Spark在早期设计时，主要是致力于节省带宽，减少存储系统的输入输出，为满足这一要求，加州大学实验室采用了一种数据集应用，即RDD，RDD是分布式的，基于内存系统上的，能兼容当前主流使用的各种系统。RDD可....

本文编号：3986964