基于Hadoop的电子商务推荐系统应用研究

发布时间：2017-06-02 03:18

  本文关键词：基于Hadoop的电子商务推荐系统应用研究，，由笔耕文化传播整理发布。

【摘要】：近年来,通过网络购物已经成为许多的人的习惯,越来越多的电子商务网站进入人们的视野。由于虚拟货架成本低廉,一个大型的电子商务网站的商品数量比实际商场里面要多得多。电子商务网站一般都有搜索功能,但对于无法提供准确搜索关键词的用户来说,通过搜索找到需要的商品比较困难。电子商务推荐系统可以根据用户的历史购物行为或注册、浏览记录等主动向用户推荐其可能感兴趣的商品。电子商务推荐系统已经在亚马逊、淘宝等知名电商网站中得到了成功的应用。由于用户和商品数量的不断增多,传统的单机推荐系统已经不能够适应海量数据的计算、存储等需求,研究分布式的推荐系统成为近年来的热点。针对基于Hadoop的电子商务推荐系统这一课题,通过阅读大量的文献,分析了国内外研究现状及面临问题。对电子商务推荐系统常见的推荐算法进行了探讨,此外本文还对Hadoop平台的两大核心技术HDFS和MapReduce的工作流程和原理进行了介绍。针对传统电子商务推荐系统存在的问题,本文设计了基于Hadoop的电子商务推荐系统,系统具有较好的可扩展性和伸缩性,可以方便的对系统的计算和存储能力根据业务需求进行调整。为了解决电子商务推荐系统阶段性和突发性问题,在系统的架构过程中考虑了负载均衡技术。系统采用异步非阻塞模式的架构来将web服务器与实际的业务处理相关服务器分离以减小web服务器的压力。论文对HDFS存储小文件时的效率问题进行了优化,设计了基于HDFS和MySQL集群的存储系统。为了节省存储空间,对稀疏矩阵存储和并行化计算过程进行了设计。系统设计了多个推荐引擎,每个推荐引擎都有其适应的场景与需求,可以使推荐系统灵活的适应多种推荐场景。不同的推荐引擎的推荐结果也可以根据需要进行加权组合。对数据预处理、基于用户的协同过滤推荐算法、基于物品的协同过滤推荐算法和混合推荐算法的相似性计算和评分预测的并行化过程进行了设计,使之能够较好的运行在Hadoop平台上,实现分布式的推荐计算。通过GroupLens数据集,论文对设计的基于Hadoop的电子商务推荐系统进行了实验。从平均绝对偏差和加速比两个方面对并行化的三种推荐算法的推荐质量和Hadoop平台的执行效率进行了评估。实验结果表明混合推荐算法的推荐质量最好,基于物品的协同过滤推荐算法次之,基于用户的协同过滤推荐算法的推荐质量较差。通过加速比的实验结果可以分析得到基于Hadoop平台的推荐算法在处理海量数据时有较高的执行效率。
【关键词】：电子商务 推荐系统 Hadoop 协同过滤
【学位授予单位】：广东工业大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.3
【目录】：

• 摘要4-6
• ABSTRACT6-8
• 目录8-10
• CONTENS10-12
• 第一章 绪论12-17
• 1.1 研究背景与意义12-13
• 1.2 国内外研究现状13-15
• 1.3 论文的主要工作及结构安排15-17
• 第二章 电子商务推荐系统及Hadoop平台17-35
• 2.1 电子商务推荐系统概述17-19
• 2.1.1 电子商务推荐系统的作用17-18
• 2.1.2 电子商务推荐系统的结构18-19
• 2.2 电子商务推荐算法分类19-27
• 2.2.1 协同过滤推荐算法19-24
• 2.2.2 基于关联规则的推荐算法24-25
• 2.2.3 基于内容的推荐算法25-26
• 2.2.4 混合推荐算法26-27
• 2.2.5 其他常见推荐算法27
• 2.3 Hadoop平台及其计算框架27-34
• 2.3.1 HDFS分布式文件系统28-31
• 2.3.2 MapReduce分布式计算框架31-34
• 2.4 本章小结34-35
• 第三章 基于Hadoop的电子商务推荐系统设计35-47
• 3.1 基于Hadoop电子商务推荐系统总体架构设计35-39
• 3.1.1 基于HDFS和MySQL集群的存储设计36-37
• 3.1.2 基于MapReduce的推荐算法并行化37-39
• 3.2 基于Hadoop的推荐引擎设计39-42
• 3.3 基于Hadoop的电子商务推荐引擎算法设计42-46
• 3.3.1 基于用户的协同过滤引擎算法设计42-43
• 3.3.2 基于物品的协同过滤引擎算法设计43-44
• 3.3.3 混合方法推荐引擎算法设计44-46
• 3.4 本章小结46-47
• 第四章 基于Hadoop的电子商务推荐算法47-59
• 4.1 数据预处理及其MapReduce化47-49
• 4.2 UBCF算法的并行化49-53
• 4.2.1 用户相似度计算49-51
• 4.2.2 评分预测51-53
• 4.3 IBCF算法的并行化53-56
• 4.3.1 项目相似度计算53-55
• 4.3.2 评分预测55-56
• 4.4 混合推荐算法的并行化56-58
• 4.4.1 相似性计算57
• 4.4.2 评分预测57-58
• 4.5 本章小结58-59
• 第五章 实验与评测59-63
• 5.1 数据集59
• 5.2 实验环境59-60
• 5.3 衡量标准60-61
• 5.4 实验结果与分析61-62
• 5.5 本章小结62-63
• 总结与展望63-65
• 参考文献65-69
• 攻读硕士学位期间发表的论文和参加的研究项目69-71
• 致谢71

【相似文献】

中国期刊全文数据库 前10条

1 张海玉;刘志都;杨彩;贾松浩;;基于页面聚类的推荐算法的改进[J];计算机应用与软件;2008年09期

2 王文;;个性化推荐算法研究[J];电脑知识与技术;2010年16期

3 张恺;秦亮曦;宁朝波;李文阁;;改进评价估计的混合推荐算法研究[J];微计算机信息;2010年36期

4 杨博;赵鹏飞;;推荐算法综述[J];山西大学学报(自然科学版);2011年03期

5 吴泓辰;王新军;成勇;彭朝晖;;基于协同过滤与划分聚类的改进推荐算法[J];计算机研究与发展;2011年S3期

6 赵玉艳;谷胜伟;;一种面向云计算环境的服务推荐算法[J];巢湖学院学报;2012年03期

7 李克潮;梁正友;;基于多特征的个性化图书推荐算法[J];计算机工程;2012年11期

8 吕善国;吴效葵;曹义亲;;基于网络结构的推荐算法[J];实验室研究与探索;2012年07期

9 苏莹;刘建国;郭强;田大钢;;考虑负面评价的个性化推荐算法研究[J];运筹与管理;2012年06期

10 郑志娴;;微博个性化内容推荐算法研究[J];电脑开发与应用;2012年12期

中国重要会议论文全文数据库 前10条

1 秦国;杜小勇;;基于用户层次信息的协同推荐算法[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

2 王韬丞;罗喜军;杜小勇;;基于层次的推荐:一种新的个性化推荐算法[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

3 唐灿;;基于模糊用户心理模式的个性化推荐算法[A];2008年计算机应用技术交流会论文集[C];2008年

4 周玉妮;郑会颂;;基于浏览路径选择的蚁群推荐算法:用于移动商务个性化推荐系统[A];社会经济发展转型与系统工程——中国系统工程学会第17届学术年会论文集[C];2012年

5 苏日启;胡皓;汪秉宏;;基于网络的含时推荐算法[A];第五届全国复杂网络学术会议论文（摘要）汇集[C];2009年

6 梁莘q

本文编号：414143