基于流计算平台的推荐系统的设计与实现
发布时间：2023-03-05 13:24
如今,信息科技高速发展,信息量呈现出爆炸式的增长,在面对琳琅满目的各种数据信息时,人们如何从如此多样化的信息中检索真正有用的信息,提高多信息使用的效率已成为一项巨大的挑战。这是人们经常对信息过载的看法。推荐系统便是为了解决这一问题而应运而生的一项互联网技术,通过研究用户的兴趣与爱好,根据用户的不同,个性化地给他们进行信息的推荐。但是,由于技术的缺乏,推荐系统的计算结果无法实时反馈给用户,推荐的数据不能实时更新,使得推荐有滞迟,这即是推荐系统中的实时问题。另外,在网站的初始阶段,由于数据的缺乏,无法进行有效的推荐,这即是推荐算法的冷启动问题。因此,本文的写作目的就是为了解决上面提到的两个难题。本文的主要工作包括:(1)对于实时性问题,使用Spark Streaming流处理框架对推荐系统进行设计并实现,并将推荐系统分为在线实时计算模块和离线延时计算模块两部分,这样可以充分的两种计算模式的优势。(2)对于算法的冷启动问题,我们在本文中提出了一种混合协同过滤推荐算法。该算法混合了聚类与矩阵分解两种常见的方法,通过对目标用户使用关联聚类和特征值分解,有效的克服了冷启动问题。通过实验数据的比较,...
【文章页数】：60 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 研究背景与意义
1.2 研究现状
1.3 本文的主要工作
1.4 论文体系结构
第二章 相关技术介绍
2.1 大数据处理框架Hadoop及其组件
2.1.1 Hadoop概述
2.1.2 HDFS分布式文件系统
2.1.3 YARN分布式资源管理系统概述
2.1.4 YARN多计算框架支持
2.1.5 MapReduce并行计算框架
2.2 Spark内存计算框架
2.2.1 Spark简介
2.2.2 Spark的设计思想
2.2.3 Spark的运行架构
2.2.4 Spark和 MapReduce的对比
2.3 推荐系统概述
2.3.1 推荐系统简介
2.3.2 推荐算法
2.3.3 推荐系统冷启动问题
2.3.4 推荐系统实时性问题
2.4 本章小结
第三章 推荐系统的冷启动问题的研究及改进算法验证
3.1 问题的提出
3.2 相关工作
3.2.1 K-means聚类算法
3.2.2 特征映射算法
3.2.3 基于矩阵分解的最小二乘算法
3.3 混合协同过滤算法
3.3.1 算法的基本思想
3.3.2 算法
3.3.3 算法分析
3.4 实验及分析
3.4.1 实验环境配置
3.4.2 实验采用的数据集
3.4.3 实验结果分析
3.5 本章小结
第四章 推荐系统的分析与设计
4.1 推荐系统的实时流计算
4.1.1 实时性问题的提出
4.1.2 流计算处理框架
4.2 需求分析与总体架构
4.2.1 功能需求
4.2.2 性能需求
4.2.3 实时推荐系统的整体流程及架构
4.3 推荐系统关键模块的设计
4.3.1 模拟用户评分模块设计
4.3.2 实时流计算模块设计
4.3.3 推荐引擎模块设计
4.4 本章小结
第五章 推荐系统的实现
5.1 测试平台搭建
5.1.1 测试平台环境说明
5.1.2 Hadoop集群部署
5.1.3 Spark集群部署
5.2 实时流计算的实现
5.2.1 输入模块的实现
5.2.2 处理模块的实现
5.2.3 Dstream输出模块的实现
5.3 推荐引擎的实现
5.3.1 加载数据模块的实现
5.3.2 模型训练模块的实现
5.3.3 推荐模块的实现
5.4 系统测试
5.4.1 模拟用户评分
5.4.2 测试用例
5.4.3 测试结果
5.5 本章小结
第六章 总结与展望
6.1 全文工作总结
6.2 未来展望
参考文献
附录1 攻读硕士学位期间撰写的论文
致谢
本文编号：3756274
【文章页数】：60 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 研究背景与意义
1.2 研究现状
1.3 本文的主要工作
1.4 论文体系结构
第二章 相关技术介绍
2.1 大数据处理框架Hadoop及其组件
2.1.1 Hadoop概述
2.1.2 HDFS分布式文件系统
2.1.3 YARN分布式资源管理系统概述
2.1.4 YARN多计算框架支持
2.1.5 MapReduce并行计算框架
2.2 Spark内存计算框架
2.2.1 Spark简介
2.2.2 Spark的设计思想
2.2.3 Spark的运行架构
2.2.4 Spark和 MapReduce的对比
2.3 推荐系统概述
2.3.1 推荐系统简介
2.3.2 推荐算法
2.3.3 推荐系统冷启动问题
2.3.4 推荐系统实时性问题
2.4 本章小结
第三章 推荐系统的冷启动问题的研究及改进算法验证
3.1 问题的提出
3.2 相关工作
3.2.1 K-means聚类算法
3.2.2 特征映射算法
3.2.3 基于矩阵分解的最小二乘算法
3.3 混合协同过滤算法
3.3.1 算法的基本思想
3.3.2 算法
3.3.3 算法分析
3.4 实验及分析
3.4.1 实验环境配置
3.4.2 实验采用的数据集
3.4.3 实验结果分析
3.5 本章小结
第四章 推荐系统的分析与设计
4.1 推荐系统的实时流计算
4.1.1 实时性问题的提出
4.1.2 流计算处理框架
4.2 需求分析与总体架构
4.2.1 功能需求
4.2.2 性能需求
4.2.3 实时推荐系统的整体流程及架构
4.3 推荐系统关键模块的设计
4.3.1 模拟用户评分模块设计
4.3.2 实时流计算模块设计
4.3.3 推荐引擎模块设计
4.4 本章小结
第五章 推荐系统的实现
5.1 测试平台搭建
5.1.1 测试平台环境说明
5.1.2 Hadoop集群部署
5.1.3 Spark集群部署
5.2 实时流计算的实现
5.2.1 输入模块的实现
5.2.2 处理模块的实现
5.2.3 Dstream输出模块的实现
5.3 推荐引擎的实现
5.3.1 加载数据模块的实现
5.3.2 模型训练模块的实现
5.3.3 推荐模块的实现
5.4 系统测试
5.4.1 模拟用户评分
5.4.2 测试用例
5.4.3 测试结果
5.5 本章小结
第六章 总结与展望
6.1 全文工作总结
6.2 未来展望
参考文献
附录1 攻读硕士学位期间撰写的论文
致谢
本文编号：3756274
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3756274.html
