推荐算法时间动态特性研究及其分布式实现

发布时间：2017-08-09 15:03

  本文关键词：推荐算法时间动态特性研究及其分布式实现

  更多相关文章： 推荐系统 动态特性 矩阵分解 时间信息 MapReduce

【摘要】：近年来,随着信息行业的高速发展,产生数据量越来越多,使我们饱受“信息过载”的困扰。推荐系统的诞生即是为了解决信息过载的问题,然而传统的推荐算法没有考虑时间信息的动态特性,使得推荐效果受到影响,同时,推荐算法的实时性还受到大数据量的考验,对此,本文做了如下工作：对推荐系统的用户兴趣变化、用户评分变化、季节效应、节假日效应等时间效应和动态特性做了研究,总结了国内外对推荐系统的时间信息动态特性的研究进展,并将用户偏好和产品受欢迎度随时间变化信息融合到矩阵分解模型中,采用Netflix Probe测试数据集和Movielens 1M数据集进行了实验,实验结果表明,融入时间信息的TemporalBMF算法比BMF的评分预测误差有所降低,准确度明显提升。研究用并行化交替最小二乘法(ALS)、随机梯度下降法(SGD)和分布式随机梯度下降法(DSGD)来优化矩阵分解推荐算法,给出了具体的MapReduce实现步骤,实现了基于Hadoop MapReduce的矩阵分解ALS、SGD、DSGD算法,对比了算法的收敛性能、准确率、迭代时间。最后,基于Spark实现DSGD优化的TemporalBMF和MF算法,实验结果证明了算法并行化的可行性和有效性。
【关键词】：推荐系统 动态特性 矩阵分解 时间信息 MapReduce
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.3
【目录】：

• 致谢5-6
• 摘要6-7
• Abstract7-11
• 第1章 绪论11-17
• 1.1 研究背景及意义11-12
• 1.2 国内外研究现状12-13
• 1.3 推荐系统功能与应用13-16
• 1.3.1 推荐系统的功能13-14
• 1.3.2 推荐系统的应用14-16
• 1.4 本文内容与结构16-17
• 第2章 推荐系统概述及数据挖掘技术17-37
• 2.1 推荐系统评测方法17-18
• 2.1.1 离线实验17
• 2.1.2 用户调查17-18
• 2.1.3 在线实验18
• 2.2 推荐系统评测指标18-20
• 2.2.1 准确度18-19
• 2.2.2 覆盖率19-20
• 2.2.3 多样性和新颖性20
• 2.2.4 评测指标总结20
• 2.3 推荐系统主要算法20-24
• 2.3.1 基于内容过滤推荐20-22
• 2.3.2 协同过滤推荐22-23
• 2.3.3 基于社交网络推荐23-24
• 2.4 推荐系统冷启动问题24
• 2.5 推荐系统中的数据挖掘技术24-36
• 2.5.1 数据挖掘步骤24-25
• 2.5.2 数据预处理25-26
• 2.5.3 分类算法26-35
• 2.5.4 聚类算法35-36
• 2.6 本章小结36-37
• 第3章 推荐系统动态特性研究37-44
• 3.1 时间效应37-40
• 3.1.1 用户兴趣变化37-39
• 3.1.2 季节假日效应39-40
• 3.2 时间信息推荐算法研究进展40-42
• 3.3 本章小结42-44
• 第4章 实验分析44-52
• 4.1 数据集44-45
• 4.1.1 Netflix数据集44
• 4.1.2 MovieLens数据集44-45
• 4.1.3 Alibaba天猫数据集45
• 4.1.4 其他数据集45
• 4.2 矩阵分解45-48
• 4.2.1 矩阵分解模型45-47
• 4.2.2 融入时间信息的矩阵分解模型47-48
• 4.3 实验设计48-51
• 4.3.1 实验数据48-49
• 4.3.2 实验结果49-51
• 4.4 本章小结51-52
• 第5章 矩阵分解算法的分布式实现研究52-66
• 5.1 分布式计算52-56
• 5.1.1 硬件环境52-53
• 5.1.2 Hadoop53-55
• 5.1.3 Spark55-56
• 5.2 矩阵分解算法的并行化研究56-60
• 5.2.1 交替最小二乘法56-57
• 5.2.2 随机梯度下降法57-59
• 5.2.3 分布式随机梯度下降法59-60
• 5.3 TemporalBMF算法的分布式实现60-61
• 5.4 实验结果与分析61-64
• 5.4.1 矩阵分解三种优化方式比较61-63
• 5.4.2 TemporalBMF算法并行化63-64
• 5.5 本章小结64-66
• 第6章 总结与展望66-68
• 6.1 本文总结66
• 6.2 工作展望66-68
• 参考文献68-72
• 科研成果72

【相似文献】

中国期刊全文数据库 前10条

1 徐义峰;徐云青;刘晓平;;一种基于时间序列性的推荐算法[J];计算机系统应用;2006年10期

2 余小鹏;;一种基于多层关联规则的推荐算法研究[J];计算机应用;2007年06期

3 张海玉;刘志都;杨彩;贾松浩;;基于页面聚类的推荐算法的改进[J];计算机应用与软件;2008年09期

4 张立燕;;一种基于用户事务模式的推荐算法[J];福建电脑;2009年03期

5 王晗;夏自谦;;基于蚁群算法和浏览路径的推荐算法研究[J];中国科技信息;2009年07期

6 周珊丹;周兴社;王海鹏;倪红波;张桂英;苗强;;智能博物馆环境下的个性化推荐算法[J];计算机工程与应用;2010年19期

7 王文;;个性化推荐算法研究[J];电脑知识与技术;2010年16期

8 张恺;秦亮曦;宁朝波;李文阁;;改进评价估计的混合推荐算法研究[J];微计算机信息;2010年36期

9 夏秀峰;代沁;丛丽晖;;用户显意识下的多重态度个性化推荐算法[J];计算机工程与应用;2011年16期

10 杨博;赵鹏飞;;推荐算法综述[J];山西大学学报(自然科学版);2011年03期

中国重要会议论文全文数据库 前10条

1 王韬丞;罗喜军;杜小勇;;基于层次的推荐:一种新的个性化推荐算法[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

2 唐灿;;基于模糊用户心理模式的个性化推荐算法[A];2008年计算机应用技术交流会论文集[C];2008年

3 秦国;杜小勇;;基于用户层次信息的协同推荐算法[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

4 周玉妮;郑会颂;;基于浏览路径选择的蚁群推荐算法:用于移动商务个性化推荐系统[A];社会经济发展转型与系统工程——中国系统工程学会第17届学术年会论文集[C];2012年

5 苏日启;胡皓;汪秉宏;;基于网络的含时推荐算法[A];第五届全国复杂网络学术会议论文（摘要）汇集[C];2009年

6 梁莘q，

本文编号：645866