基于Spark的个性化地点推荐系统的设计与实现
发布时间：2021-05-09 15:08
伴随着数据时代的到来,网络用户每天需要接收无数不同类别的信息,面临从海量信息中选取所需信息的困扰,这时推荐系统应运而生。在当下流行的大数据计算平台中,基于内存迭代计算的Spark框架更符合推荐系统的要求,相比较传统的Hadoop20Map20Reduce框架,Spark框架中的多个master节点解决了Hadoop中易产生的单节点故障问题,具有更高的实时计算能力,可以大幅度提升推荐系统的运行效率。通过对Spark框架下的个性化地点推荐系统现状分析,在了解系统设计相关技术的前提下,本文的研究重点为算法优化与系统搭建,针对用户的推荐需求,提出了离线推荐与在线推荐相结合的推荐引擎架构,完成了个性化地点推荐系统的设计与实现。为了改善传统基于LBSN的地点推荐算法中普遍存在的数据稀疏问题与冷启动问题,本文提出了融合用户偏好与上下文信息的加权矩阵分解算法,与传统的矩阵分解算法相比较,加权矩阵分解模型通过对用户-签到矩阵中的元素进行加权处理来缓解数据稀疏问题。在推荐系统的实现过程中,用户签到的影响因素主要包括用户偏好与上下文信息,其中用户偏好对签到行为的影响最大,本文使用的加权矩阵分解模型以用户偏好...
【文章来源】：青岛理工大学山东省
【文章页数】：92 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 推荐系统研究现状
1.2.2 Spark研究现状
1.3 论文研究内容
1.4 论文组织结构
第2章 相关技术研究
2.1 大数据相关技术
2.1.1 Spark大数据处理框架
2.1.2 Kafka分布式流消息系统
2.1.3 HDFS分布式文件存储
2.2 推荐系统
2.2.1 推荐系统概述
2.2.2 推荐系统架构
2.2.3 推荐系统评价指标
2.3 基于LBSN的地点推荐算法
2.3.1 LBSN简介
2.3.2 基于社交网络的地点推荐
2.3.3 基于位置信息的地点推荐
2.4 本章小结
第3章 个性化地点推荐算法的研究
3.1 个性化地点推荐算法面临的问题
3.1.1 数据稀疏问题
3.1.2 冷启动问题
3.2 融合用户偏好与上下文信息的加权矩阵分解算法
3.2.1 用户偏好对签到行为的影响
3.2.2 用户上下文信息对签到行为的影响
3.2.3 融合用户偏好与上下文信息对签到行为的影响
3.3 算法步骤
3.4 本章小结
第4章 个性化地点推荐系统的设计与实现
4.1 系统设计原则
4.2 系统总体设计与实现
4.2.1 输入输出数据设计与实现
4.2.2 总体架构设计与实现
4.3 数据采集模块
4.4 数据仓库模块
4.5 推荐引擎模块
4.6 结果输出模块
4.7 本章小结
第5章 实验设计与结果分析
5.1 实验环境
5.2 实验数据
5.3 实验评价指标
5.4 系统效果测试
5.4.1 系统性能测试
5.4.2 算法性能测试
5.5 本章小结
第6章 总结与展望
6.1 论文总结
6.2 未来展望
参考文献
攻读硕士学位期间发表论文情况
致谢
【参考文献】：
期刊论文
[1]基于改进用户相似度的协同过滤推荐算法研究[J]. 张利. 现代计算机. 2019(17)
[2]基于Spark的推荐系统的设计与实现[J]. 李星,李涛. 计算机技术与发展. 2018(10)
[3]基于Spark平台的电商推荐系统的设计分析[J]. 曹耀辉. 自动化与仪器仪表. 2017(07)
[4]基于Spark的混合推荐算法研究[J]. 胡德敏,龚燕. 计算机应用研究. 2017(12)
[5]A20New20Recommender20System20Using20Context20Clustering20Based20on20Matrix20Factorization20Techniques[J]. ZHENG Xiaoyao,LUO Yonglong,SUN Liping,CHEN Fulong. Chinese Journal of Electronics. 2016(02)
[6]基于灰色关联度聚类与标签重叠因子结合的协同过滤推荐方法研究[J]. 赵宏晨,翟丽丽,张树臣. 计算机工程与科学. 2016(01)
[7]互联网推荐系统比较研究[J]. 许海玲,吴潇,李晓东,阎保平. 软件学报. 2009(02)
硕士论文
[1]基于多因素的矩阵分解推荐算法研究与实现[D]. 张文博.北京邮电大学 2019
[2]基于Spark的高考推荐系统设计与实现[D]. 孟真.山东师范大学 2017
[3]基于Storm的实时推荐系统研究与设计[D]. 贺翔宇.中北大学 2017
[4]推荐系统中矩阵分解算法研究[D]. 韦峰.中国科学技术大学 2017
[5]基于位置的社交网络中地点推荐方法研究[D]. 李朔.北京工业大学 2016
[6]基于Spark平台推荐系统研究[D]. 杨志伟.中国科学技术大学 2015
[7]基于Web数据挖掘的推荐系统算法研究[D]. 冯立娟.河北工程大学 2014
本文编号：3177525
【文章来源】：青岛理工大学山东省
【文章页数】：92 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 推荐系统研究现状
1.2.2 Spark研究现状
1.3 论文研究内容
1.4 论文组织结构
第2章 相关技术研究
2.1 大数据相关技术
2.1.1 Spark大数据处理框架
2.1.2 Kafka分布式流消息系统
2.1.3 HDFS分布式文件存储
2.2 推荐系统
2.2.1 推荐系统概述
2.2.2 推荐系统架构
2.2.3 推荐系统评价指标
2.3 基于LBSN的地点推荐算法
2.3.1 LBSN简介
2.3.2 基于社交网络的地点推荐
2.3.3 基于位置信息的地点推荐
2.4 本章小结
第3章 个性化地点推荐算法的研究
3.1 个性化地点推荐算法面临的问题
3.1.1 数据稀疏问题
3.1.2 冷启动问题
3.2 融合用户偏好与上下文信息的加权矩阵分解算法
3.2.1 用户偏好对签到行为的影响
3.2.2 用户上下文信息对签到行为的影响
3.2.3 融合用户偏好与上下文信息对签到行为的影响
3.3 算法步骤
3.4 本章小结
第4章 个性化地点推荐系统的设计与实现
4.1 系统设计原则
4.2 系统总体设计与实现
4.2.1 输入输出数据设计与实现
4.2.2 总体架构设计与实现
4.3 数据采集模块
4.4 数据仓库模块
4.5 推荐引擎模块
4.6 结果输出模块
4.7 本章小结
第5章 实验设计与结果分析
5.1 实验环境
5.2 实验数据
5.3 实验评价指标
5.4 系统效果测试
5.4.1 系统性能测试
5.4.2 算法性能测试
5.5 本章小结
第6章 总结与展望
6.1 论文总结
6.2 未来展望
参考文献
攻读硕士学位期间发表论文情况
致谢
【参考文献】：
期刊论文
[1]基于改进用户相似度的协同过滤推荐算法研究[J]. 张利. 现代计算机. 2019(17)
[2]基于Spark的推荐系统的设计与实现[J]. 李星,李涛. 计算机技术与发展. 2018(10)
[3]基于Spark平台的电商推荐系统的设计分析[J]. 曹耀辉. 自动化与仪器仪表. 2017(07)
[4]基于Spark的混合推荐算法研究[J]. 胡德敏,龚燕. 计算机应用研究. 2017(12)
[5]A20New20Recommender20System20Using20Context20Clustering20Based20on20Matrix20Factorization20Techniques[J]. ZHENG Xiaoyao,LUO Yonglong,SUN Liping,CHEN Fulong. Chinese Journal of Electronics. 2016(02)
[6]基于灰色关联度聚类与标签重叠因子结合的协同过滤推荐方法研究[J]. 赵宏晨,翟丽丽,张树臣. 计算机工程与科学. 2016(01)
[7]互联网推荐系统比较研究[J]. 许海玲,吴潇,李晓东,阎保平. 软件学报. 2009(02)
硕士论文
[1]基于多因素的矩阵分解推荐算法研究与实现[D]. 张文博.北京邮电大学 2019
[2]基于Spark的高考推荐系统设计与实现[D]. 孟真.山东师范大学 2017
[3]基于Storm的实时推荐系统研究与设计[D]. 贺翔宇.中北大学 2017
[4]推荐系统中矩阵分解算法研究[D]. 韦峰.中国科学技术大学 2017
[5]基于位置的社交网络中地点推荐方法研究[D]. 李朔.北京工业大学 2016
[6]基于Spark平台推荐系统研究[D]. 杨志伟.中国科学技术大学 2015
[7]基于Web数据挖掘的推荐系统算法研究[D]. 冯立娟.河北工程大学 2014
本文编号：3177525
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3177525.html
