基于HADOOP平台的并行关联规则算法研究
本文关键词：基于HADOOP平台的并行关联规则算法研究 出处：《天津工业大学》2017年硕士论文 论文类型：学位论文
【摘要】：在数据挖掘研究领域中,关联规则算法因其具有目的明确、实现灵活、应用范围广泛等特点成为挖掘数据深层价值的重要手段。在大数据时代,如何能够以更低的成本以及更高效准确的从海量数据中挖掘出有价值的信息,以帮助决策者更加科学的制定决策已成为数据挖掘领域的新课题。云计算的出现为海量数据挖掘带来了新的解决方案。Hadoop是由Apache基金会开源实现的一种云计算技术,,它的关键技术是Hadoop分布式文件系统和MapReduce并行编程框架。在深入研究传统数据挖掘算法的基础上,如何结合新的框架对传统据挖掘算法进行改进使之能够处理海量数据挖掘问题,是数据挖掘领域的一个热点。本文首先详细研究了云计算、Hadoop的分布式文件系统HDFS以及MapReduce并行编程框架。然后,对数据挖掘和关联规则概念进行了阐述,并对关联规则中的经典的Apriori算法进行了详细的分析研究,并在此基础之上给出了算法的一个具体实例,然后将Apriori算法结合Hadoop平台进行并行化实现。在以上研究内容的基础之上,通过引入矩阵的数据结构,根据矩阵的特点以及Apriori算法的性质提出了基于Hadoop和矩阵的关联规则挖掘改进算法。最后,搭建Hadoop的实验环境,用java编程语言完成改进算法的代码编写并调试,通过采用不同的实验数据集和实验条件对算法进行测试。通过实验结果的对比分析,得出改进算法具有更好的性能。
【学位授予单位】：天津工业大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP311.13
【相似文献】
相关期刊论文 前10条
1 宫雨,武森,尹阿东,高学东;加权关联规则的改进算法[J];计算机工程与应用;2004年22期
2 王华秋,曹长修,王越;一种快速并行关联规则算法研究及仿真[J];计算机应用研究;2005年07期
3 陈涛;张玮;;一个改进的并行关联规则算法研究[J];计算机技术与发展;2007年01期
4 张志锋;邓璐娟;刘秀梅;;关联规则算法在邮政商函客户关系中的应用[J];计算机技术与发展;2008年12期
5 付宝君;;基于关联规则算法的研究[J];科技信息(科学教研);2008年15期
6 王琳莎;林国龙;杨斌;;新的关联规则算法在物流行业中的应用[J];物流工程与管理;2009年03期
7 傅国强;郭向勇;;动态加权关联规则算法的分析与实现[J];计算机工程;2010年23期
8 张瑞雪;;改进的关联规则算法在课堂教学评价中的应用[J];产业与科技论坛;2011年06期
9 李琦,宋国新;在线挖掘关联规则算法的改进[J];华东理工大学学报;2000年05期
10 辛志,刘少辉,史忠植;关联规则算法的实现与改进[J];计算机工程与应用;2002年24期
相关会议论文 前4条
1 谷斌;靳艳峰;王磊;;关联规则算法在邮政报刊征订中的应用研究[A];第十届中国科协年会信息化与社会发展学术讨论会分会场论文集[C];2008年
2 王爽;魏振钢;;空间关联规则算法在环境污染事故应急处理系统中的应用研究[A];第四届中国智能计算大会论文集[C];2010年
3 谭军;卜英勇;;一种具有反单调性的加权支持度-信任度框架[A];2011年全国电子信息技术与应用学术会议论文集[C];2011年
4 高杰;李绍军;钱锋;;数据挖掘中关联规则算法的研究及应用[A];第十七届全国过路控制会议论文集[C];2006年
相关硕士学位论文 前10条
1 李远博;基于关联规则算法的旅游推荐研究[D];陕西师范大学;2015年
2 毕岩;基于Hadoop的并行关联算法的研究[D];南京邮电大学;2015年
3 于娜;基于关联规则算法的嫌疑程度关系发现方法研究[D];大连工业大学;2015年
4 李自胜;基于动态KMV模型和时序关联规则的商业银行信用风险研究[D];浙江财经大学;2016年
5 武霞;Hadoop平台下基于聚类和关联规则算法的工程车辆故障预测研究[D];太原科技大学;2015年
6 张依欢;关联规则算法在教学评价中的应用研究[D];吉林大学;2016年
7 李欣弘;基于关联规则和情感分析的图书推荐算法研究[D];吉林大学;2016年
8 孙海舰;基于大数据的动车组维修成本关键技术的研究[D];北京交通大学;2016年
9 邓吉君;关联规则算法在互联网教育领域的研究及应用[D];湖南师范大学;2016年
10 薛良勇;基于决策树的操作系统隐通道研究[D];中国矿业大学;2016年
，本文编号：1323538
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/1323538.html
