基于用户评分与评论的推荐系统研究与实现

发布时间：2024-03-08 04:06

　　互联网技术的高速发展,极大地降低了人们获取信息的门槛,与此同时,全球互联网上每时每刻都在产生庞大的数据,人类社会已经进入了信息过载的时代。基于协同过滤的个性化推荐技术作为解决信息过载问题的有效手段,能够通过分析用户的历史行为,从海量的数据中挖掘出与用户兴趣相符的信息进行推荐。不仅帮助人们提高了信息获取的效率,而且也让信息能够精准的展现在对它感兴趣的用户面前,为企业带来了巨大的经济效益。在实际的应用中,传统的协同过滤推荐算法面临数据稀疏性和冷启动问题,导致算法预测的精确度以及运行效率偏低。为弥补协同过滤推荐算法的不足,本文提出了一种基于用户评分与评论的推荐系统方案,并在Spark平台上进行了实现。本文的主要工作包括以下几个方面:(1)提出了一种基于大数据预处理技术的物品特征提取方法。首先对用户评论的文本进行预处理,包括物品评论聚合,缺失评论填充,重复数据删除,评论数据格式转换,然后利用Word2Vec模型从预处理后的评论文本中提取物品特征,取得了较好的效果。(2)提出了一种基于用户评分与评论的推荐算法。首先引入用户评论的词频、评分、评论时间和评论帮助度改进物品特征,然后根据物品特征计算物...

【文章页数】：84 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景及意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 国内外研究现状与分析
        1.2.1 推荐系统研究现状
        1.2.2 词向量研究现状
        1.2.3 大数据处理技术研究现状
    1.3 论文主要研究工作
    1.4 论文章节安排
第二章 相关理论与技术介绍
    2.1 引言
    2.2 推荐系统
        2.2.1 协同过滤推荐系统架构
        2.2.2 基于邻域的协同过滤
        2.2.3 基于模型的协同过滤
    2.3 词向量Word2Vec
    2.4 分布式大数据计算框架
        2.4.1 分布式文件系统HDFS
        2.4.2 分布式计算框架Spark
    2.5 本章小结
第三章 基于大数据预处理技术的物品特征提取
    3.1 引言
    3.2 用户评论的优势
    3.3 评论文本预处理
        3.3.1 物品评论聚合
        3.3.2 缺失评论填充
        3.3.3 重复数据删除
        3.3.4 数据格式转换
    3.4 评论文本特征提取
    3.5 本章小结
第四章 基于用户评分与评论的推荐算法
    4.1 引言
    4.2 用户评论包含信息
    4.3 物品特征改进
        4.3.1 词频权重计算
        4.3.2 评分权重计算
        4.3.3 时间权重计算
        4.3.4 评论帮助度权重计算
    4.4 基于用户评分与评论的推荐算法
        4.4.1 物品相似度计算
        4.4.2 评分预测
        4.4.3 推荐列表生成
    4.5 本章小结
第五章 基于Spark的推荐系统设计与实现
    5.1 引言
    5.2 个性化推荐系统架构设计
    5.3 数据收集存储及传输
        5.3.1 数据收集
        5.3.2 数据存储
        5.3.3 数据传输
    5.4 推荐引擎
        5.4.1 在线计算
        5.4.2 离线计算
        5.4.3 算法并行化执行
    5.5 界面交互
        5.5.1 商品推荐
        5.5.2 商品评价
    5.6 本章小结
第六章 实验与结果分析
    6.1 引言
    6.2 实验数据与评估方法
        6.2.1 实验数据及格式
        6.2.2 实验评估指标
    6.3 数据预处理
        6.3.1 实验环境配置
        6.3.2 数据预处理
        6.3.3 Word2Vec模型训练
    6.4 实验与结果分析
        6.4.1 最近邻个数对结果的影响
        6.4.2 对比实验结果及分析
        6.4.3 并行化对结果的影响
    6.5 本章小结
总结与展望
    本文工作总结
    本文工作展望
参考文献
攻读硕士学位期间取得的研究成果
致谢
附件



本文编号：3921983