基于Hadoop的电子商务推荐系统研究

发布时间：2017-03-29 04:14

  本文关键词：基于Hadoop的电子商务推荐系统研究，，由笔耕文化传播整理发布。

【摘要】：电子商务使我们的生活变得便捷,它迅速发展的同时也产生了大量的数据,如何帮助用户在海量的数据中快速高效地找到有价值的内容便成了一个重要的问题。目前,搜索引擎和信息分类网站都在一定程度上解决了海量数据的搜索问题,但是,这两者是需要用户通过输入关键字或者提供其他相关信息去查找,才能获取到需要的信息。相比之下,推荐系统的出现则更加的主动和智能化,从而在电商网站中起到了越来越重要的作用。它能以相当快的速度在海量数据中进行检索,不需要用户输入关键字等提示信息,主动的向顾客推荐有用的商品,它的智能化方便顾客的同时也为商家提供了很大的帮助。支撑推荐系统正常运行的推荐算法有很多,协同过滤算法是其中运用最广泛的推荐算法。然而,随着电子商务中用户数量和商品数量的高速增长,协同过滤推荐算法也面临新的挑战,比如数据稀疏性问题、可扩展性问题等等。针对这些问题,本课题对协同过滤推荐算法进行了全面深入的研究,并阐述了通过组合推荐算法来解决数据稀疏性问题,进而完成推荐工作。同时,考虑到受单机性能的限制,当面对需要处理海量数据时,必然会对推荐结果的准确性和效率造成严重影响。因此,采用将协同过滤推荐算法迁移部署到Hadoop平台中,对数据进行分布式处理,提高算法的运行效率,解决算法的可扩展性问题,最终达到增加商品销售量的目的。本文主要的研究工作如下：1)对于常用的几种推荐算法进行深入研究分析,全面了解各个算法的优点和缺点,重点研究了协同过滤推荐算法。2)运用组合推荐算法完成数据填充和结果推荐。该组合算法是将K均值聚类算法、Slope One加权改进算法和协同过滤算法(CF)相结合,以此来实现推荐。K均值聚类算法和Slope One加权改进算法用来解决数据稀疏性问题,协同过滤算法(CF)用来在数据相对完整的基础上实现最终的推荐。3)对协同过滤推荐算法进行改进,使其能够适应MapReduce编程模型,进而达到对数据进行分布式处理的目的,以此来解决算法存在的可扩展性问题。4)对单个推荐算法和组合推荐算法进行评测。本课题运用MovieLens数据集中的数据,通过实验,从各个算法的准确率、召回率和反应时间的角度对算法进行了评测,并对实验结果进行分析。
【关键词】：推荐系统 协同过滤 K均值聚类 Slope One Hadoop 组合推荐 MapReduce
【学位授予单位】：西安工业大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.3
【目录】：

• 摘要3-5
• ABSTRACT5-9
• 1 绪论9-13
• 1.1 研究背景和意义9-10
• 1.2 国内外研究现状10-11
• 1.3 本文的研究内容11-12
• 1.4 论文组织结构12-13
• 2 Hadoop大数据处理平台13-23
• 2.1 Hadoop介绍13-15
• 2.2 HDFS15-18
• 2.2.1 HDFS介绍15-16
• 2.2.2 HDFS的架构和工作原理16-17
• 2.2.3 HDFS数据存储的保证措施17-18
• 2.3 MapReduce的并行计算架构18-21
• 2.3.1 MapReduce体系架构概述19-20
• 2.3.2 MapReduce的工作流程20-21
• 2.4 HBase21-23
• 2.4.1 数据存储21-22
• 2.4.2 物理模型22-23
• 推荐系统相关技术介绍23-34
• 3.1 推荐系统概述23-24
• 3.2 推荐系统的架构24-25
• 3.3 常用推荐算法的研究25-34
• 3.3.1 基于内容的推荐25-26
• 3.3.2 基于关联规则的推荐26-27
• 3.3.3 基于聚类的推荐27-28
• 3.3.4 协同过滤推荐28-34
• 4 电子商务推荐中的组合推荐算法34-44
• 4.1 组合推荐算法的提出34
• 4.2 组合推荐算法的思路34-35
• 4.3 组合推荐算法的实现35-44
• 4.3.1 K均值聚类算法35-36
• 4.3.2 Slope One算法及其加权改进36-39
• 4.3.3 协同过滤推荐算法39-42
• 4.3.4 组合推荐算法的流程与步骤42-44
• 5 基于MapReduce的组合推荐算法改进44-53
• 5.1 原因和可行性分析44
• 5.2 基于MapReduce的算法改进过程44-46
• 5.3 基于MapReduce的协同过滤推荐算法46-53
• 6 实验测试和结果分析53-58
• 6.1 实验数据和环境53-54
• 6.1.1 数据集53
• 6.1.2 实验环境53-54
• 6.2 实验结果及评测指标54-56
• 6.2.1 实验结果54
• 6.2.2 评测指标54-56
• 6.3 实验设计56
• 6.4 实验结果及分析56-58
• 7 总结与展望58-59
• 参考文献59-62
• 攻读硕士学位期间发表的论文62-63
• 致谢63-65

【参考文献】

中国期刊全文数据库 前5条

1 邓秀勤,姜莲花;电子商务推荐系统研究[J];辽东学院学报;2005年04期

2 黎星星,黄小琴,朱庆生;电子商务推荐系统研究[J];计算机工程与科学;2004年05期

3 许海玲;吴潇;李晓东;阎保平;;互联网推荐系统比较研究[J];软件学报;2009年02期

4 黄光球,靳峰,彭绪友;基于兴趣度的协同过滤商品推荐系统模型[J];微电子学与计算机;2005年03期

5 王鄂;李铭;;云计算下的海量数据挖掘研究[J];现代计算机(专业版);2009年11期

  本文关键词：基于Hadoop的电子商务推荐系统研究，由笔耕文化传播整理发布。

本文编号：273676