基于Spark的改进关联规则算法研究

发布时间：2018-11-04 13:12

【摘要】：针对关联规则Apriori算法在信息爆炸时代面对海量数据时,其计算周期大、算法效率低等问题,将数据以特定的数据结构进行存储,降低数据遍历次数;在连接操作前进行剪枝操作,并且改变剪枝操作的判定条件;同时将改进算法IApriori与基于内存的大数据并行计算处理框架Apache Spark相结合,提出了一种基于Spark的Apriori改进算法(Spark+IAprior)。实验结果表明,Spark+IApriori算法在集群伸缩性和加速比方面都优于Apriori算法。
[Abstract]:When the association rule Apriori algorithm is faced with massive data in the era of information explosion, its calculation period is large and the algorithm efficiency is low, so the data is stored in a specific data structure to reduce the number of data traversing. The pruning operation is performed before the connection operation, and the judging conditions of the pruning operation are changed. At the same time, an improved Apriori algorithm (Spark IAprior). Based on Spark is proposed by combining the improved algorithm IApriori with the memory based big data parallel computing framework Apache Spark. Experimental results show that the, Spark IApriori algorithm is superior to the Apriori algorithm in terms of cluster scalability and speedup.
【作者单位】： 太原科技大学电子信息工程学院;
【基金】：国家自然科学基金(41272374)
【分类号】：TP301.6

【相似文献】

相关期刊论文 前10条

1 朱惠;;关联规则中Apriori算法的研究与改进[J];电脑知识与技术;2014年12期

2 马占欣;黄维通;陆玉昌;;相关度计算方法存在的问题及修正[J];计算机工程;2007年11期

3 司徒浩臻;数据挖掘技术在图书馆信息服务中的应用[J];现代图书情报技术;2005年10期

4 徐冬,王翰虎,陈梅;图像挖掘技术在医学CT图像上的应用[J];海南师范学院学报(自然科学版);2004年04期

5 刘雨露;;基于Web使用挖掘的学生思想动态分析[J];重庆三峡学院学报;2007年03期

6 彭玉青,张红梅,何华,顾军华;数据挖掘技术及其在教学中的应用[J];河北科技大学学报;2001年04期

7 郑涛;;数据挖掘在智能计算机辅助教学中的应用[J];中国人民公安大学学报(自然科学版);2008年02期

8 吴志勇;吴跃;;数据挖掘在电信业中的应用研究[J];计算机应用;2005年S1期

9 刘海泉;姚全珠;;Web使用挖掘在电子商务中的应用研究[J];计算机工程;2006年07期

10 方忠进;夏志华;周舒;;基于关联规则挖掘的智能云防护技术研究[J];通信技术;2014年08期

相关硕士学位论文 前3条

1 李世莲;基于MVC模式的网上售书系统的设计与实现[D];北京工业大学;2015年

2 万川南;几种常用数据挖掘算法的应用案例与分析[D];景德镇陶瓷学院;2015年

3 孙磊;基于MVC模式的爱读书网上售书系统的设计与实现[D];黑龙江大学;2015年

，

本文编号：2309915