基于Hadoop的推荐系统研究与应用

发布时间：2017-04-24 17:38

  本文关键词：基于Hadoop的推荐系统研究与应用，由笔耕文化传播整理发布。

【摘要】：随着互联网的日益发展,手机、平板电脑等智能终端的出现,人们在工作和生活中越来越依赖网络,同时也产生大量的数据文件,对于如此海量的数据,加之用户有时不能清晰的表达查询意图,使得用户很难快速、准确的找出所需要的信息,为此学者们进行了许多相关的研究,其中有效的技术方案主要包括搜索引擎中的查询推荐算法和基于偏好的推荐系统。查询推荐算法通过构造一组与原查询词相关的查询词帮助用户明确查询意图。推荐系统以用户行为、偏好作为依据,主动为用户推荐符合其偏好的信息。由于用户数量、数据规模的快速增长,而传统推荐算法以单机运行为主,计算复杂度普遍较高,计算难度大,已经不能满足海量数据推荐计算的需求,产生了推荐时间缓慢、准确率下降等一系列问题。为了更好的解决推荐算法的可扩展性、准确性问题,本文在深入研究HDFS分布式系统和MapReduce编程思想的基础上,针对近年来提出的网络推荐算法,分别提出了查询推荐算法和基于偏好的协同过滤推荐算法在MapReduce编程模型下的分布式并行化算法,并设计和实现了一个基于Hadoop的电影推荐原型系统。主要工作内容如下:首先,介绍了推荐算法和云计算方面国内外的研究现状,然后重点阐述了推荐系统及主流协同过滤算法,具体分析了Hadoop相关技术,为基于Hadoop的并行化算法提供了理论依据。然后,针对搜索引擎中的查询推荐算法,提出了基于Hadoop的最小生成树聚类算法来实现查询推荐,通过一系列测试和结果分析验证了算法在集群上具有良好的并行性和扩展性。在基于偏好的推荐系统方面,提出了基于奇异值分解的协同过滤算法并行化改进与优化方案,通过实验证明改进方法可以进一步提高算法的效率和准确率。最后,在MovieLens数据集基础上,结合本文提出的分布式推荐算法,设计、实现和部署了基于Hadoop的电影推荐原型系统,通过测试系统能够正常运行和使用,充分体现了云计算与推荐算法结合的优势。
【关键词】：推荐系统 Hadoop 查询推荐 协同过滤
【学位授予单位】：华北电力大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.3
【目录】：

• 摘要5-6
• Abstract6-9
• 第1章 绪论9-13
• 1.1 课题背景及意义9-10
• 1.2 国内外研究现状10-11
• 1.3 课题主要的研究内容11
• 1.4 论文的组织结构11-13
• 第2章 相关技术基础13-24
• 2.1 推荐系统综述13-19
• 2.1.1 推荐系统的定义13-14
• 2.1.2 推荐算法介绍14-16
• 2.1.3 推荐系统的应用16-19
• 2.2 Hadoop体系架构19-23
• 2.2.1 Hadoop简介19-20
• 2.2.2 HDFS分布式文件系统20-21
• 2.2.3 Map Reduce编程模型21
• 2.2.4 云存储系统结构21-23
• 2.3 本章小结23-24
• 第3章 基于Hadoop的最小生成树查询推荐算法24-32
• 3.1 基于分布式MST的查询推荐方法24-26
• 3.1.1 算法步骤24
• 3.1.2 构造二分图24
• 3.1.3 相似度计算24-25
• 3.1.4 并行最小生成树聚类算法25-26
• 3.2 基于Map Reduce的分布式算法实现26-29
• 3.2.1 基于Map Reduce构造搜索词-链接地址二分图26-27
• 3.2.2 基于Map Reduce构造全局带权无向图27-28
• 3.2.3 计算带权无向图的最小生成树28-29
• 3.3 实验结果及分析29-31
• 3.3.1 数据集29
• 3.3.2 实验结果分析29-31
• 3.4 本章小结31-32
• 第4章 基于Hadoop的PSVD协同过滤算法32-37
• 4.1 基于奇异值分解的协同过滤算法32
• 4.2 基于SVD的协同过滤算法并行化32-34
• 4.3 实验结果及分析34-36
• 4.3.1 数据集34
• 4.3.2 评价指标34-35
• 4.3.3 实验分析35-36
• 4.4 本章小结36-37
• 第5章 基于Hadoop的原型推荐系统设计与实现37-43
• 5.1 Hadoop云计算平台与开发环境的搭建与配置37-38
• 5.2 原型系统设计38-40
• 5.2.1 系统结构设计38
• 5.2.2 系统模块设计38-40
• 5.3 原型系统实现40-42
• 5.3.1 查询推荐功能实现40
• 5.3.2 用户输入功能实现40-41
• 5.3.3 偏好推荐功能实现41-42
• 5.4 本章小结42-43
• 第6章 总结与展望43-44
• 6.1 本文总结43
• 6.2 未来的工作43-44
• 参考文献44-47
• 攻读硕士学位期间发表的论文及其它成果47-48
• 致谢48

【相似文献】

中国期刊全文数据库 前10条

1 米可菲;张勇;邢春晓;蔚欣;;面向大数据的开源推荐系统分析[J];计算机与数字工程;2013年10期

2 脱建勇;王嵩;李秀;刘文煌;;精品课共享中的推荐系统框架与实现[J];计算机工程与设计;2006年17期

3 苏冠贤;张丽霞;林丕源;刘吉平;;生物信息学推荐系统的设计与实现[J];计算机应用研究;2007年05期

4 王改芬;;推荐系统研究综述[J];软件导刊;2007年23期

5 叶群来;;营销与网络推荐系统[J];电子商务;2007年10期

6 李媚;;个性化网络学习资源推荐系统研究[J];福建电脑;2008年12期

7 潘冉;姜丽红;;基于经济学模型的推荐系统的研究[J];计算机应用与软件;2008年03期

8 刘鲁;任晓丽;;推荐系统研究进展及展望[J];信息系统学报;2008年01期

9 刘小燕;陈艳丽;贾宗璞;沈记全;;基于增强学习的旅行计划推荐系统[J];计算机工程;2010年21期

10 曹畋;;智能推荐系统在知识浏览领域的应用[J];硅谷;2011年21期

中国重要会议论文全文数据库 前8条

1 张燕;李燕萍;;基于内容分析和点击率记录的混合音乐推荐系统[A];2009年通信理论与信号处理学术年会论文集[C];2009年

2 赵欣;寇纲;邬文帅;卢艳群;;基于时间密集性的推荐系统攻击检测[A];第六届（2011）中国管理学年会论文摘要集[C];2011年

3 张玉连;张波;张敏;;改进的个性化信息推荐系统的设计与实现[A];2005年全国理论计算机科学学术年会论文集[C];2005年

4 王君;许洁萍;;层次音乐推荐系统的研究[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

5 潘宇;林鸿飞;杨志豪;;基于用户聚类的电子商务推荐系统[A];第三届学生计算语言学研讨会论文集[C];2006年

6 尤忠彬;陈越;张英;朱扬勇;;基于Web服务的技术转移平台推荐系统研究[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

7 王国霞;刘贺平;李擎;;二部图影射及其在推荐系统中的应用[A];第25届中国控制与决策会议论文集[C];2013年

8 王雪;董爱华;吴怡之;;基于RFID技术的智能服装推荐系统设计[A];2011年全国电子信息技术与应用学术会议论文集[C];2011年

中国重要报纸全文数据库 前2条

1 ;大数据如何“落地”[N];中国新闻出版报;2014年

2 本报记者 邹大斌;大数据：电商新武器[N];计算机世界;2012年

中国博士学位论文全文数据库 前10条

1 王宏宇;商务推荐系统的设计研究[D];中国科学技术大学;2007年

2 杨东辉;基于情感相似度的社会化推荐系统研究[D];哈尔滨工业大学;2014年

3 曹渝昆;基于神经网络和模糊逻辑的智能推荐系统研究[D];重庆大学;2006年

4 王立才;上下文感知推荐系统若干关键技术研究[D];北京邮电大学;2012年

5 刘龙;一个能实现个性化实时路径推荐服务的推荐系统框架[D];中国科学技术大学;2014年

6 李涛;推荐系统中若干关键问题研究[D];南京航空航天大学;2009年

7 刘士琛;面向推荐系统的关键问题研究及应用[D];中国科学技术大学;2014年

8 李方方;非独立同分布推荐系统研究[D];北京理工大学;2014年

9 李晓建;基于语义的个性化资源推荐系统中关键技术研究[D];武汉大学;2010年

10 张尧;B2C环境下用户感知可信的推荐系统理论及其关键方法研究[D];哈尔滨工业大学;2013年

中国硕士学位论文全文数据库 前10条

1 朱孔真;基于云计算的电子商务智能推荐系统研究[D];武汉理工大学;2014年

2 郭敬泽;基于赋权评分和Dpark的分布式推荐系统研究与实现[D];天津理工大学;2015年

3 周俊宇;信息推荐系统的研究与设计[D];江南大学;2015年

4 李炜;基于电子商务平台的保险推荐系统的设计与实现[D];复旦大学;2013年

5 车丰;基于排序主题模型的论文推荐系统[D];大连海事大学;2015年

6 秦大路;基于因式分解机模型的上下文感知推荐系统研究[D];郑州大学;2015年

7 徐霞婷;动态路网监控与导航推荐系统的设计与实现[D];苏州大学;2015年

8 黄学峰;基于Hadoop的电影推荐系统研究与实现[D];南京师范大学;2015年

9 路小瑞;基于Hadoop平台的职位推荐系统的设计与实现[D];上海交通大学;2015年

10 李爱宝;基于组合消费行为分析的团购推荐系统的设计与实现[D];哈尔滨工业大学;2015年

  本文关键词：基于Hadoop的推荐系统研究与应用，，由笔耕文化传播整理发布。

本文编号：324642