基于位置的推荐计算:Spark实现

发布时间：2017-04-27 15:36

  本文关键词：基于位置的推荐计算:Spark实现，，由笔耕文化传播整理发布。

【摘要】：自1990年第一篇使用协同过滤算法进行推荐的论文诞生以来,推荐系统在工业界和学术界已经有了广泛的发展。传统的推荐系统算法主要使用的基于协同过滤的推荐算法,基于上下文感知的推荐算法以及基于社交网络的推荐算法等,而基于用户地理位置的产品推荐方法并没有广泛流行。但随着移动互联网的蓬勃发展,用户的地理位置数据通过手机端GPS开始被大量获取,开始成为商品推荐的重要特征属性,使得一些基于用户地理位置的商品推荐任务成为可能。本文总结传统的推荐计算方法以及现代的推荐计算方法的发展历程,通过收集基于位置的人口普查数据和产品交易数据,提出一些基于位置的产品推荐计算方法。同时,由于数据规模较大,数据计算和调度的管理变得越加困难,单机计算模式难以处理海量的计算需求,而基于MapReduce的Hadoop平台在面对多轮迭代的机器学习技术时显得有些力不从心。因此,本文使用Oozie来进行数据流调度的管理,并使用Spark来加速机器学习算法的计算效率。经过实验比较和验证之后,证明使用Oozie管理数据流调度能够让系统变得容易扩展和维护,使用Spark在机器学习算法效率上要远好于基于Hadoop的算法效率,且基于位置的推荐算法在测评上有良好的效果。
【关键词】：协同过滤 基于位置的推荐算法 推荐系统 Oozie Spark
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.3
【目录】：

• 摘要5-6
• Abstract6-12
• 第1章 绪论12-19
• 1.1 课题背景12-16
• 1.1.1 国内研究现状13-14
• 1.1.2 国外研究现状14-16
• 1.2 研究目的16
• 1.3 本文贡献及创新点16-17
• 1.4 论文结构17-18
• 1.5 本章小结18-19
• 第2章 背景技术19-30
• 2.1 推荐系统概述19-20
• 2.2 传统推荐系统算法20-26
• 2.2.1 基于协同过滤的推荐算法20-22
• 2.2.2 基于关联关系的推荐算法22-23
• 2.2.3 基于上下文感知的推荐算法23-24
• 2.2.4 基于社交网络的推荐算法24-25
• 2.2.5 传统推荐算法在位置服务上的局限性25-26
• 2.3 大数据处理技术26-29
• 2.3.1 Oozie26
• 2.3.2 Hadoop26-27
• 2.3.3 Spark27-29
• 2.4 本章小结29-30
• 第3章 推荐系统总体框架设计30-40
• 3.1 总体功能与要求30-32
• 3.1.1 系统总体要求30-31
• 3.1.2 功能设计31-32
• 3.2 系统总体架构32-35
• 3.2.1 系统总体架构设计32-33
• 3.2.2 数据ETL调度层33-34
• 3.2.3 推荐算法层34
• 3.2.4 推荐服务层34-35
• 3.3 系统总体流程35-38
• 3.3.1 数据的采集流程36-37
• 3.3.2 推荐服务流程37-38
• 3.4 本章小结38-40
• 第4章 基于Oozie的数据ETL调度模块40-52
• 4.1 调度模块介绍40
• 4.2 Oozie数据流的工作原理40-46
• 4.2.1 基于DAG的工作流(Workflow)42-44
• 4.2.2 定时触发的工作流调度(Coordinator)44-45
• 4.2.3 批处理调度任务(Bundle)45-46
• 4.3 调度模块的整体实现46-51
• 4.3.1 工作流节点的编辑46-49
• 4.3.2 特征提取与数据预处理调度49-50
• 4.3.3 离线计算调度50-51
• 4.4 本章小结51-52
• 第5章 基于Spark的推荐算法模块52-61
• 5.1 推荐算法模块介绍52-53
• 5.2 基于位置的推荐算法53-58
• 5.2.1 基于区域流行度的推荐算法53-54
• 5.2.2 基于区域购买记录的协同过滤54-55
• 5.2.3 基于地区相似度聚类算法55-57
• 5.2.4 基于地区相似度的协同过滤57
• 5.2.5 基于区域活跃用户的品牌推荐57-58
• 5.3 推荐服务的实现方法58-60
• 5.3.1 推荐服务模块介绍58-59
• 5.3.2 基于Akka的推荐服务webservice实现方法59-60
• 5.4 本章小结60-61
• 第6章 实验与分析61-74
• 6.1 实验环境与数据61-62
• 6.2 实验结果62-72
• 6.2.1 实验数据分析62-65
• 6.2.2 性能测试结果65-68
• 6.2.3 推荐结果测评68-72
• 6.3 测试结论72
• 6.4 本章小结72-74
• 第7章 总结与展望74-77
• 7.1 工作总结74-75
• 7.2 展望75-77
• 参考文献77-79
• 攻读硕士学位期间主要的研究成果79-81
• 致谢81

【相似文献】

中国期刊全文数据库 前10条

1 徐义峰;徐云青;刘晓平;;一种基于时间序列性的推荐算法[J];计算机系统应用;2006年10期

2 余小鹏;;一种基于多层关联规则的推荐算法研究[J];计算机应用;2007年06期

3 张海玉;刘志都;杨彩;贾松浩;;基于页面聚类的推荐算法的改进[J];计算机应用与软件;2008年09期

4 张立燕;;一种基于用户事务模式的推荐算法[J];福建电脑;2009年03期

5 王晗;夏自谦;;基于蚁群算法和浏览路径的推荐算法研究[J];中国科技信息;2009年07期

6 周珊丹;周兴社;王海鹏;倪红波;张桂英;苗强;;智能博物馆环境下的个性化推荐算法[J];计算机工程与应用;2010年19期

7 王文;;个性化推荐算法研究[J];电脑知识与技术;2010年16期

8 张恺;秦亮曦;宁朝波;李文阁;;改进评价估计的混合推荐算法研究[J];微计算机信息;2010年36期

9 夏秀峰;代沁;丛丽晖;;用户显意识下的多重态度个性化推荐算法[J];计算机工程与应用;2011年16期

10 杨博;赵鹏飞;;推荐算法综述[J];山西大学学报(自然科学版);2011年03期

中国重要会议论文全文数据库 前10条

1 王韬丞;罗喜军;杜小勇;;基于层次的推荐:一种新的个性化推荐算法[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

2 唐灿;;基于模糊用户心理模式的个性化推荐算法[A];2008年计算机应用技术交流会论文集[C];2008年

3 秦国;杜小勇;;基于用户层次信息的协同推荐算法[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

4 周玉妮;郑会颂;;基于浏览路径选择的蚁群推荐算法:用于移动商务个性化推荐系统[A];社会经济发展转型与系统工程——中国系统工程学会第17届学术年会论文集[C];2012年

5 苏日启;胡皓;汪秉宏;;基于网络的含时推荐算法[A];第五届全国复杂网络学术会议论文（摘要）汇集[C];2009年

6 梁莘q

本文编号：330886