基于MapReduce的top-k高效用模式挖掘算法

发布时间：2018-02-23 19:22

  本文关键词： 数据挖掘 top-k 高效用模式 MapReduce 并行算法　出处：《计算机应用研究》2017年10期 　论文类型：期刊论文

【摘要】：高效用模式挖掘被广泛地应用于数据挖掘领域。为了挖掘指定数量的高效用模式,一些基于树结构和效用表结构的top-k高效用挖掘算法被提出,但前者在挖掘过程中产生了大量候选模式,后者在效用模式增长时需要进行多次比较;同时,由于在信息社会,数据量呈爆炸性增长,所以在数据集过大的情况下,挖掘高效用模式需以大量存储空间以及计算开销为代价。为了解决这两个问题,基于MapReduce的top-k高效用模式挖掘算法(TKHUP_MaR)被提出。该算法通过两次扫描数据库,利用三次MapReduce来实现并行top-k高效用模式的挖掘。通过实验表明TKHUP_MaR算法在并行挖掘top-k高效用模式的过程中是有效的。
[Abstract]:High utility pattern mining is widely used in the field of data mining. In order to mine a specified number of high utility patterns, some top-k high utility mining algorithms based on tree structure and utility table structure are proposed. However, the former produces a large number of candidate patterns in the mining process, while the latter needs to be compared several times when the utility pattern grows. At the same time, because the data volume increases explosively in the information society, so the data set is too large. In order to solve these two problems, the top-k high utility pattern mining algorithm named TKHUPMaR based on MapReduce is proposed, which scans the database twice. Using cubic MapReduce to realize the mining of parallel top-k high utility pattern, the experiment shows that the TKHUP_MaR algorithm is effective in the process of parallel mining top-k high utility pattern.
【作者单位】： 华中师范大学计算机学院;华中师范大学科技处;
【基金】：国家自然科学基金资助项目(61370108)
【分类号】：TP311.13

【相似文献】

相关期刊论文 前10条

1 吴进;宋顺林;王迎春;;基于频繁偏爱度的使用模式挖掘算法的研究[J];计算机应用;2006年10期

2 王宇新;田佳;郭禾;吴树朋;杨元生;;应用模糊方法的设计模式挖掘策略研究[J];计算机工程与应用;2010年02期

3 陆亿红;王子仁;黄燕;;适合稀少空间特征的同位模式挖掘算法[J];浙江工业大学学报;2007年04期

4 郭燕萍;辛伯宇;;高选票例外模式挖掘研究与实现[J];电脑开发与应用;2007年08期

5 徐显九;杨燕;岳爱萍;;高效的用户移动模式挖掘方法[J];计算机应用研究;2007年09期

6 李帆;夏士雄;张磊;;基于模糊理论的不确定轨迹模式挖掘[J];微电子学与计算机;2011年08期

7 李中元;边馥苓;;空间同位模式挖掘研究进展[J];地理空间信息;2013年06期

8 邢东山,沈钧毅,宋擒豹;用户浏览偏爱模式挖掘算法的研究[J];西安交通大学学报;2002年04期

9 刘洪辉;吴岳芬;;用户行为模式挖掘问题的研究[J];计算机技术与发展;2006年05期

10 付晓翠;许盈;车路;;游戏访问模式挖掘的研究与应用[J];郑州大学学报(理学版);2007年04期

相关会议论文 前9条

1 王肃;杜军平;高田;;基于本体与知识背景的模式挖掘框架研究[A];2009年中国智能自动化会议论文集（第二分册）[C];2009年

2 缪裕青;尹东;;分布式存储结构的频繁闭合模式挖掘并行算法[A];2007年全国开放式分布与并行计算机学术会议论文集(下册)[C];2007年

3 王淼;尚学群;谢华博;李战怀;;行常量差异共表达基因模式挖掘算法研究[A];第29届中国数据库学术会议论文集（B辑）（NDBC2012）[C];2012年

4 刘玉葆;蔡嘉荣;印鉴;黄志兰;;基于最大访问模式挖掘的数据库异常行为检测[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

5 陆叶;王丽珍;陈红梅;赵丽红;;基于可能世界的不确定空间co-location模式挖掘研究[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年

6 王丽珍;陆叶;陈红梅;肖清;;基于前缀树结构的空间co-location模式挖掘算法研究[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年

7 胡伟成;曹三省;李丹;;一种基于QPop增量时域分割升维的媒体内容应用模式挖掘改进算法[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

8 薛丹;李德敏;裴仁林;;移动计算中基于PrefixSpan算法的用户移动模式挖掘[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

9 夏庆;马元元;孙志挥;;路径遍历模式挖掘方法的改进[A];第十六届全国数据库学术会议论文集[C];1999年

相关博士学位论文 前7条

1 Shafqat Ali Shad;移动用户轨迹与行为模式挖掘方法研究[D];中国科学技术大学;2013年

2 钱烽;同位模式挖掘研究[D];浙江大学;2012年

3 刘勇;图模式挖掘技术的研究[D];哈尔滨工业大学;2010年

4 覃桂敏;复杂网络模式挖掘算法研究[D];西安电子科技大学;2012年

5 王乐;数据流模式挖掘算法及应用研究[D];大连理工大学;2013年

6 林耀进;多源环境中数据预处理与模式挖掘的研究[D];合肥工业大学;2014年

7 曾海泉;时间序列挖掘与相似性查找技术研究[D];复旦大学;2003年

相关硕士学位论文 前10条

1 杨阳;云计算环境下时空轨迹伴随模式挖掘研究[D];南京师范大学;2015年

2 李海;基于用户轨迹数据的周期活动模式挖掘[D];江苏科技大学;2015年

3 周青峰;云计算环境下的模式挖掘算法研究[D];浙江工商大学;2015年

4 陈瑞;基于分治子图和极大有序团树的co-location模式挖掘研究[D];云南大学;2015年

5 张子瀚;面向大数据的高效用模式挖掘方法研究[D];北方工业大学;2016年

6 张刚领;一种基于团的闭频繁Co-location模式挖掘方法[D];云南大学;2016年

7 江万国;基于领域驱动的空间高效用Co-location模式挖掘[D];云南大学;2016年

8 吴锡宇;基于约束的城市co-location模式挖掘[D];云南大学;2016年

9 冯鲁桥;基于C/C++代码库的API调用模式挖掘研究及实现[D];电子科技大学;2016年

10 王敏;云计算环境下时空轨迹聚集模式挖掘算法研究[D];南京师范大学;2016年

，

本文编号：1527312