IABS:一个基于Spark的Apriori改进算法

发布时间：2018-03-04 17:48

  本文选题：Apriori算法　切入点：频繁项集　出处：《计算机应用研究》2017年08期 　论文类型：期刊论文

【摘要】：Apriori算法是关联规则挖掘中最经典的算法之一,其核心问题是频繁项集的获取。针对经典Apriori算法存在的需多次遍历事务数据库及需产生候选项集等问题,首先通过转换存储结构、消除候选集产生过程等方法对Apriori算法进行优化;同时,随着大数据时代的到来,数据量与日俱增,传统算法面临巨大挑战,将优化的Apriori与Spark相结合,充分利用Spark的内存计算、弹性分布式数据集等优势,提出了IABS(improved Apriori algorithm based on Spark)。通过与已有的同类算法进行比较,IABS的数据可扩展性和节点可扩展性得以验证,并且在多种数据集上平均获得了23.88%的性能提升,尤其随着数据量的增长,性能提升更加明显。
[Abstract]:Apriori algorithm is one of the most classical algorithms in association rule mining, its core problem is the acquisition of frequent itemsets. In view of the problems existing in classical Apriori algorithm, such as the need to traverse the transaction database multiple times and generate candidate itemsets, the storage structure is firstly transformed. At the same time, with the arrival of big data era, the amount of data is increasing, the traditional algorithm is facing a huge challenge, the optimized Apriori and Spark are combined to make full use of the memory computing of Spark. Based on the advantages of resilient distributed data sets, the paper proposes IABS(improved Apriori algorithm based on sparkler. By comparing the data extensibility and node extensibility of IABS(improved Apriori algorithm based on Sparkson, we can verify the extensibility of IABS(improved and node extensibility, and get an average performance improvement of 23.88% on a variety of data sets. Especially with the increase of data, the performance improvement is more obvious.
【作者单位】： 国防科学技术大学计算机学院;
【基金】：国家“863”计划资助项目(2014AA01A302)
【分类号】：TP311.13

【相似文献】

相关期刊论文 前10条

1 张玉强;于凤全;金立峰;朱晓飞;;Apriori算法在雷达故障诊断系统中的应用研究[J];电脑知识与技术;2011年07期

2 李阳;朱宗胜;;基于优化Apriori算法的入侵检测系统模型设计[J];计算机安全;2009年11期

3 王冬秀;胡迎春;李辉;;改进的Apriori算法在股票分析中的应用研究[J];科技通报;2013年03期

4 高琰;王台华;郭帆;余敏;;应用非迭代Apriori算法检测分布式拒绝服务攻击[J];计算机应用;2011年06期

5 郑麟;;一种直接生成频繁项集的分治Apriori算法[J];计算机应用与软件;2014年04期

6 陶荣;;基于Apriori算法在学生信息管理系统中的应用与研究[J];计算机光盘软件与应用;2012年21期

7 明勇;;基于数据挖掘的Apriori算法在入侵检测中的应用[J];电脑知识与技术;2005年35期

8 肖桂艳;周满元;;Apriori算法在基于网络入侵检测系统中的应用[J];微计算机信息;2010年06期

9 吴昊;李军国;;一种改进的Apriori算法在交通信息化中的应用[J];信息化纵横;2009年08期

10 甘超;陆远;李娟;胡莹;;基于Apriori算法的设备故障诊断技术的研究[J];组合机床与自动化加工技术;2014年01期

相关会议论文 前7条

1 刘擎;刘云涛;罗翌;;关联规则挖掘Apriori算法在当代名老中医流感医案挖掘中的应用及改进探讨[A];2012中国中西医结合学会急救医学专业委员会学术年会论文集[C];2012年

2 陈波;董鹏;邵勇;;基于Apriori算法及其改进算法综述[A];中国通信学会第五届学术年会论文集[C];2008年

3 张彦;刘伟;;结合超市数据的关联规则Apriori算法浅析[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集（上册）[C];2008年

4 杨宗波;宗容;常俊;彭广军;;入侵检测中Apriori算法的研究与改进[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年

5 梁昌勇;赵艳霞;;基于RFM分析的银行信用卡客户的行为评分模型——应用自组织映射神经网络SOM和Apriori方法[A];第二届全国信息检索与内容安全学术会议（NCIRCS-2005）论文集[C];2005年

6 高明;盛立;刘希玉;;关联规则挖掘中Apriori算法的一种改进[A];山东省计算机学会2005年信息技术与信息化研讨会论文集（二）[C];2005年

7 万敏;潘笑;宾谊沅;;利用Apriori算法实现WEB的个性化服务[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年

相关硕士学位论文 前10条

1 赵宏利;改进的Apriori算法在大学生心理分析中的研究[D];华中师范大学;2015年

2 王丹;基于云计算的关联规则Apriori算法的研究与实现[D];南昌大学;2015年

3 杨财英;Apriori算法及其在学生成绩分析中的应用研究[D];湖南大学;2016年

4 吴博;Apriori算法挖掘技术在WANO人因数据中的应用研究[D];南华大学;2016年

5 侯建辉;基于改进Apriori算法的名老中医治疗高血压病验案挖掘研究[D];山东中医药大学;2016年

6 王达明;基于云计算与医疗大数据的Apriori算法的优化研究[D];北京邮电大学;2015年

7 杨国英;泛在网下基于Apriori算法的移动群组的位置预测[D];南京邮电大学;2013年

8 丁磊;一种改进的Apriori算法在手机评教系统中的研究[D];华中师范大学;2014年

9 朱惠;关联规则中Apriori算法的研究与改进[D];安徽理工大学;2014年

10 王培吉;基于Apriori算法的关联规则挖掘及改进[D];内蒙古大学;2003年

，

本文编号：1566682