基于Spark的视频推荐系统研究与实现

发布时间：2020-03-19 10:04

【摘要】：随着互联网的飞速发展,数据充斥着人们日常生活的方方面面,人们已经进入了大数据时代。而数据中却蕴藏着丰富的有价值的信息,面对数据的爆炸式增长,如何运用有效的方法挖掘出数据中有价值的信息在大数据的研究课题中具有重要意义。Hadoop作为一个开源的分布式大数据处理框架,采用Hadoop Distributed File System(HDFS)进行存储和Map Reduce(MR)进行计算,但面对海量数据计算,基于MR计算已经无法满足用户日益提高的服务要求。而Spark的诞生大大改善了这一点,它是基于内存计算的分布式大数据处理框架,使用Resilient Distributed Datasets(RDD)数据模型编程,与MR相比,大大减少了磁盘的I/O次数,特别是在高迭代的数据计算中表现的尤为明显。因此,Spark一经诞生迅速受到了广大企业、学者的追捧。推荐系统是解决信息过载的有效办法,本文采用协同过滤算法基于Spark平台实现一个视频推荐系统帮助用户在海量视频数据中挖掘出真正想要的视频信息。但使用Spark平台进行数据处理过程花费的时间也很漫长,不能够满足用户的需求,而搭建分布式的Spark集群可以实现数据并行化计算,从而有效提高计算效率。本文通过对推荐算法并行化设计以及推荐系统的分析与设计,完成了基于Spark的视频推荐系统的实现。主要所做的工作如下:(1)基于Spark的视频推荐算法的并行化设计。首先通过对推荐算法和Spark平台及其各个组件的了解,详细设计了推荐算法在分布式的Spark集群中的并行化实现过程,包括基于项目的协同过滤和基于用户的协同过滤推荐算法的并行化实现。最后,通过对比实验比较了推荐算法在基于Spark集群和基于Hadoop集群上的性能差异。(2)基于Spark的视频推荐系统的实现。本文主要是基于Spark平台完成了视频推荐系统的实现,系统将获取的Web日志进行预处理存入数据库中,训练推荐模型,采用实时和离线推荐相结合的方式给用户产生推荐列表。系统将数据处理以及模型训练在Ubuntu系统上的Spark集群中进行,而将视频推荐和业务逻辑模块以及推荐列表展示在Windows系统中进行。
【图文】：

系统架构,平台,节点,主节点

搭建 Spark 集群对硬件设备要求比较高，鉴于资源有限，在这次搭建 Spark群之前，预先设计的是使用 1 个 Master 节点和 3 个 Worker 节点。待全部部署[26]功后启动整个 Spark 集群，可以看到每个节点启动的进程，具体如图 2.1 所示：1 在部署集群之前，预设的是 1 个主节点和 3 个工作节点。2 启动 Spark 集群之后，在每个节点的图形化界面输入命令 jps，在主节上有 1 个主节点守护进程，在其它工作节点上分别有 1 个工作节点守护进程。3 主节点和工作节点在集群中所担任的任务是不同的，主节点主要负责所工作节点，而工作节点主要负责执行相关任务。4 Driver 职责是转换用户程序到 task，并在在 Executor 上调度 task。5 每个工作节点包含一个 Worker 守护进程， Worker 又包含多个cutorRunner 对象，ExcutorRunner 对象又包含 ExcutorBackend 进程，每个cutorBackend 拥有一个 Executor 对象，Executor 包含一个或者多个 task，当要工作节点执行任务时，就是 task 在工作。

计算规则,实际执行,输入数据

RDD 自身的 Lineage 机制，会将 RDD 之间的变换进行记录。比如，它会记录父代RDD 是经过了怎样的转换或者动作，才由父代 RDD 得到该 RDD 的信息，所以 Spark具备的容错特性比较优良。2.2.2 Spark 的核心Spark 的核心是 RDD，即弹性分布式数据集，它是 Spark 的编程模型，这种新型数据集的由来非常广泛，既可以通过外部存储系统导入，也可以通过其他 RDD运算而来。在 RDD 之上，可以进行三种类型的运算：分别是 Transformation（转换），Action（动作），Persistence（持久化），Transformation 操作包括 map、flatMap、reduceByKey 等函数，这些操作运算的结果会产生另外一个 RDD，但是不会立即执行，，它会等到执行 Action 运算时，才会实际执行；Action 操作包括reduce、collect、first 等函数，这些操作运行的结果不会产生另外一个 RDD，但是会立即执行，并且连同之前的“转换”操作一起执行；RDD 在内存中进行计算时会经常使用同一个数据集，那么利用 RDD 的持久化技术可以实现数据的重复利用，以此来提高任务执行的性能。下面将以图 2.2 说明：
【学位授予单位】：重庆师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.3

【相似文献】