基于Spark Streaming实时推荐系统的研究与实现

发布时间：2022-07-08 11:21

　　推荐系统需要可以推荐个性化的信息给用户。然而,现今的推荐系统通常不可以实时、动态的推荐个性化信息,这是推荐系统的实时问题。另外,由于经常存在用户/物品评分矩阵数据稀疏的问题。同时,由于新用户或新物品没有评论信息,因此不能准确的对新用户或新物品推荐,这是推荐系统中的冷启动问题。对于上述问题,本文提出了p-相似度来解决传统协同过滤算法对数据稀疏的问题。在p-相似度的基础上本文提出了CF-K-means混合推荐算法,优化了基于矩阵的协同过滤算法的方案,缓解了推荐系统中冷启动问题。同时本文研究了实时推荐应用,提出了适用实时推荐的算法,本文的主要研究内容包括:（1）针对推荐系统的数据稀疏问题,本文提出了p-相似度的相似度计算方法。该方法优化了传统的协同过滤算法中的相似度计算的过程,对于协同过滤算法求相似度加入了p因子,使用p-相似度的推荐算法更好的适应了数据稀疏的情况,缓解了数据稀疏对推荐的影响。（2）针对现今协同过滤算法的冷启动问题,提出了CF-K-means混合推荐算法,该算法解决了传统的协同过滤算法中存在的冷启动问题。基于矩阵分解的协同过滤算法会分解用户/物品的特征矩阵,然后对分解的新用户... 

【文章页数】：64 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景和意义
    1.2 研究现状
        1.2.1 国内发展现状
        1.2.2 国外发展现状
    1.3 主要研究内容
    1.4 论文的组织结构
2 相关技术及问题
    2.1 推荐算法的冷启动问题
    2.2 实时性问题
    2.3 K-means聚类算法
    2.4 Kafka原理
    2.5 Spark Streaming原理
    2.6 实时推荐系统分析与计算引擎的选择
        2.6.1 实时推荐功能分析
        2.6.2 实时推荐性能分析
        2.6.3 计算引擎选择分析
    2.7 本章小结
3 p-相似度研究
    3.1 现有协同过滤算法稀疏性问题测试
    3.2 稀疏性对推荐系统影响分析
        3.2.1 相似度的缺失
        3.2.2 不准确的最近邻居
        3.2.3 推荐精度的缺失
    3.3 p-相似度定义
        3.3.1 p因子的定义
        3.3.2 p-相似度的作用
    3.4 实验与分析
    3.5 本章小结
4 增量CF-K-means混合推荐算法研究
    4.1 推荐冷启动问题分析
    4.2 增量CF-K-means混合推荐算法定义
        4.2.1 特征矩阵求解
        4.2.2 聚类与均衡
        4.2.3 p-相似度引入
        4.2.4 算法增量化
    4.3 增量CF-K-means混合推荐算法实现
    4.4 混合推荐算法实验及分析
        4.4.1 实验环境
        4.4.2 实验数据集
        4.4.3 CF-K-means混合推荐算法实验分析
        4.4.5 增量CF-K-means混合推荐算法实验及分析
    4.5 本章小结
5 实时推荐系统实现
    5.1 实时推荐应用总体架构
    5.2 实时推荐应用的实现
        5.2.1 数据模拟与加载数据模块的实现
        5.2.2 流计算模块的实现
        5.2.3 模型训练与推荐模型实现
        5.2.4 分布式储存模块实现
    5.3 实时推荐应用实验及分析
    5.4 本章小结
6 总结与展望
    6.1 总结
    6.2 展望
参考文献
致谢
附录1 攻读硕士学位期间参与的项目和发表的论文
附录2 部分核心代码


【参考文献】：
期刊论文
[1]基于Spark流式计算的实时电影推荐研究[J]. 严磊,汪小可.  软件导刊. 2019(05)
[2]基于Spark的并行化协同深度推荐模型[J]. 贾晓光.  计算机工程与应用. 2018(14)
[3]基于Spark技术的ALS推荐算法的可扩放性研究[J]. 祝永志.  电子技术. 2018(06)
[4]基于Spark的推荐系统的设计与实现[J]. 李星,李涛.  计算机技术与发展. 2018(10)
[5]K-近邻矩阵分解推荐系统算法[J]. 郝雅娴,孙艳蕊.  小型微型计算机系统. 2018(04)
[6]基于Spark的混合协同过滤算法改进与实现[J]. 王源龙,孙卫真,向勇.  计算机应用研究. 2019(03)
[7]基于Spark平台的电商推荐系统的设计分析[J]. 曹耀辉.  自动化与仪器仪表. 2017(07)
[8]Spark平台下教育资源个性化推荐研究[J]. 文勇军,吴冬冬,王键,唐立军.  智能计算机与应用. 2017(02)
[9]混合协同过滤算法中用户冷启动问题的研究[J]. 端德坤,傅秀芬.  计算机工程与应用. 2017(21)
[10]一种数据递增式的混合推荐方法[J]. 陈洪涛,肖如良,林丽玉,颜杰敏,蔡声镇.  计算机系统应用. 2014(10)

博士论文
[1]社交媒体中的个性化推荐关键技术研究[D]. 李舒辰.北京邮电大学 2018
[2]Web-based推荐系统中若干关键问题研究[D]. 孙丽梅.东北大学 2013

硕士论文
[1]Spark环境下场景图像的分类研究[D]. 吉元元.西安理工大学 2018
[2]大规模在线内容推荐系统关键算法的设计与实现[D]. 李勇宏.北京交通大学 2018
[3]基于Spark Streaming的实时新闻推荐平台的设计与实现[D]. 崔博.山东大学 2018
[4]基于协同过滤的电影推荐算法研究与实现[D]. 姚静静.北京邮电大学 2018
[5]基于Spark的混合推荐系统的研究与实现[D]. 张文童.北京交通大学 2017
[6]基于Spark平台的实时流计算推荐系统的研究与实现[D]. 张贤德.江苏大学 2016
[7]基于图计算模型的矩阵分解并行化研究[D]. 戴世超.浙江理工大学 2016
[8]基于近似矩阵分解的推荐算法研究[D]. 杨自兴.东北大学 2013
[9]P2P消息中间件的研究与设计[D]. 蒋一新.苏州大学 2006



本文编号：3656933