Hadoop在商业智能中的研究及应用

发布时间：2017-10-29 11:21

  本文关键词：Hadoop在商业智能中的研究及应用

  更多相关文章： 商业智能 灰色关联分析 协同过滤推荐算法 分布式系统 Hadoop

【摘要】：随着互联网信息技术的高速发展,全球进入大数据时代。伴随着这些急速膨胀的数据规模,决策者以及客户在海量数据中如何获取有效信息是当前需要解决的首要问题。商业智能领域的发展使得企业将数据转化为知识成为了可能,其中推荐算法的出现则构建了一条产品、信息与用户之间的有效通道。此外,Hadoop平台研究的迅速发展使得利用分布式技术处理大数据分析更为有效和方便。本文通过对当前个性化推荐算法的研究,利用灰色系统的理论知识,结合分布式平台处理大数据的方法,提出一种基于灰色关联分析的分布式协同过滤推荐算法。首先,本文对协同过滤推荐算法进行研究,主要介绍了基于用户的、基于项目的和基于模型的这三种协同过滤推荐算法,对这三种协同过滤推荐算法的实现进行研究;其次,对灰色系统中的灰色关联分析进行研究,详细介绍了不同的灰色关联度模型的特征和计算方法;然后,通过对Hadoop生态系统的重点探讨,研究分布式系统的存储和读写原理,分布式数据库的设计原理,并利用MapReduce研究分布式系统的并行化计算和调度机制。根据上述理论知识的研究,本课题将灰色关联分析和分布式理论结合,给出一种基于灰色关联分析的分布式协同过滤推荐算法,该算法解决了当前协同过滤推荐算法面临的评分矩阵信息因素不完全和不确定性,以及数据稀疏性和当数据规模较大时出现的计算瓶颈及可扩展性等问题。在文章最后,设计并实施Hadoop分布式系统和分布式数据库服务器集群,利用该集群实现了本文所提出的算法。实验表明,基于灰色关联分析的分布式协同过滤推荐算法可以有效地实现大规模数据的推荐,与传统的CFR算法相比平均绝对误差有一定的下降,而且通过增加Hadoop集群的数据节点可以解决数据可扩展性的问题,同时,该推荐算法的可行性也是Hadoop在商业智能上有效应用的体现。
【关键词】：商业智能 灰色关联分析 协同过滤推荐算法 分布式系统 Hadoop
【学位授予单位】：江苏科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13;TP391.3
【目录】：

• 摘要5-6
• Abstract6-12
• 第1章 绪论12-20
• 1.1 课题研究背景和意义12-14
• 1.2 国内外研究及发展概况14-17
• 1.2.1 商业智能发展概况14
• 1.2.2 协同过滤推荐算法发展概况14-15
• 1.2.3 灰色关联分析发展概况15-16
• 1.2.4 Hadoop分布式计算平台发展概况16-17
• 1.3 本文主要工作17
• 1.4 论文结构安排17-18
• 1.5 本章小结18-20
• 第2章 协同过滤推荐算法与灰色关联分析20-30
• 2.1 推荐系统20
• 2.2 协同过滤推荐算法理论与方法20-26
• 2.2.1 基于用户的协同过滤推荐算法22-23
• 2.2.2 基于项目的协同过滤推荐算法23-25
• 2.2.3 基于模型的协同过滤推荐算法25-26
• 2.3 灰色关联理论与方法26-29
• 2.3.1 灰色关联分析基本概念26-27
• 2.3.2 灰色关联四公理27
• 2.3.3 常见灰色关联度计算模型27-29
• 2.4 本章小结29-30
• 第3章 Hadoop分布式平台研究30-40
• 3.1 引言30-31
• 3.2 HDFS分布式文件系统31-34
• 3.2.1 Name Node元数据节点31
• 3.2.2 DataNode数据节点31-32
• 3.2.3 HDFS客户端32-33
• 3.2.4 文件I/O操作及备份管理33-34
• 3.3 MapReduce编程模型34-36
• 3.3.1 MapReduce执行过程34-35
• 3.3.2 Hadoop中MapReduce执行架构35-36
• 3.4 HBase分布式数据库36-39
• 3.4.1 HBase结构体系37-39
• 3.4.2 HBase的数据模型39
• 3.5 本章小结39-40
• 第4章 基于灰色关联分析的分布式协同过滤推荐算法40-48
• 4.1 灰色关联协同过滤推荐算法的实现40-41
• 4.2 分布式灰色关联协同过滤算法机制的实现41-46
• 4.2.1 数据源处理41-42
• 4.2.2 算法流程42-46
• 4.3 本章小结46-48
• 第5章 实验和结果分析48-62
• 5.1 实验环境搭建48-56
• 5.1.1 Hadoop环境搭建48-54
• 5.1.2 Zookeeper环境搭建54
• 5.1.3 HBase环境搭建54-56
• 5.2 算法实验56-59
• 5.2.1 实验数据集56
• 5.2.2 算法实现过程56-59
• 5.3 实验结果与讨论59-61
• 5.3.1 灰色关联度推荐算法实验对比59-60
• 5.3.2 数据可扩展性实验60-61
• 5.3.3 实验总结61
• 5.4 本章小结61-62
• 总结与展望62-64
• 参考文献64-68
• 攻读硕士学位期间发表论文68-70
• 致谢70-71
• 中文详细摘要71-72
• 英文详细摘要72-73

【相似文献】

中国期刊全文数据库 前10条

1 徐义峰;徐云青;刘晓平;;一种基于时间序列性的推荐算法[J];计算机系统应用;2006年10期

2 余小鹏;;一种基于多层关联规则的推荐算法研究[J];计算机应用;2007年06期

3 张海玉;刘志都;杨彩;贾松浩;;基于页面聚类的推荐算法的改进[J];计算机应用与软件;2008年09期

4 张立燕;;一种基于用户事务模式的推荐算法[J];福建电脑;2009年03期

5 王晗;夏自谦;;基于蚁群算法和浏览路径的推荐算法研究[J];中国科技信息;2009年07期

6 周珊丹;周兴社;王海鹏;倪红波;张桂英;苗强;;智能博物馆环境下的个性化推荐算法[J];计算机工程与应用;2010年19期

7 王文;;个性化推荐算法研究[J];电脑知识与技术;2010年16期

8 张恺;秦亮曦;宁朝波;李文阁;;改进评价估计的混合推荐算法研究[J];微计算机信息;2010年36期

9 夏秀峰;代沁;丛丽晖;;用户显意识下的多重态度个性化推荐算法[J];计算机工程与应用;2011年16期

10 杨博;赵鹏飞;;推荐算法综述[J];山西大学学报(自然科学版);2011年03期

中国重要会议论文全文数据库 前10条

1 王韬丞;罗喜军;杜小勇;;基于层次的推荐:一种新的个性化推荐算法[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

2 唐灿;;基于模糊用户心理模式的个性化推荐算法[A];2008年计算机应用技术交流会论文集[C];2008年

3 秦国;杜小勇;;基于用户层次信息的协同推荐算法[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

4 周玉妮;郑会颂;;基于浏览路径选择的蚁群推荐算法:用于移动商务个性化推荐系统[A];社会经济发展转型与系统工程——中国系统工程学会第17届学术年会论文集[C];2012年

5 苏日启;胡皓;汪秉宏;;基于网络的含时推荐算法[A];第五届全国复杂网络学术会议论文（摘要）汇集[C];2009年

6 梁莘q，

本文编号：1112779