频繁项集快速挖掘算法研究及应用

发布时间：2018-04-22 12:51

本文选题：频繁项集挖掘 + Eclat算法　；参考：《太原理工大学》2017年硕士论文

【摘要】：随着信息技术的发展,数据呈指数型增长,传统数据挖掘算法对大规模数据的处理和应用存在挖掘效率低,难以实现有效应用等不足。数据的产生、收集、存储和分析等都需要大数据技术的支持,因此如何将传统数据挖掘算法与大数据技术有效结合成为当前的研究热点。现有频繁项集挖掘算法在处理大数据时,存在运行时间过长、内存溢出等缺点,故将其与大数据技术有效结合,有助于进一步实现大数据产业化应用。一方面,大数据技术使数据分析、处理速度加快,提高了算法运行效率;另一方面,通过分析数据的隐含价值,进行应用研究,为生产生活提供便利。本文基于频繁项集挖掘算法和大数据技术,探索效率更高的算法,并将本文算法应用于现实中。具体而言,本文主要完成了以下三方面的研究:(1)Eclat算法改进研究深入分析Eclat算法,结合频繁项集自身性质,从候选集优化和剪枝两方面优化算法。通过筛选候选集,剔除非候选集,减少交集运算的次数,提出了改进算法——Eclat’算法。在公开数据集上进行实验,分析算法性能,并验证了算法的有效性。(2)改进算法的并行化实现为了更高效地使用和分析数据,本文基于MapReduce并行实现Eclat’算法,并在Hadoop集群上完成了相关实验,实验结果表明:并行实现的算法对大数据处理有较好的性能。(3)应用研究对手机用户数据进行应用研究,分析数据中各属性间的关系,结果可向用户更合理地推荐APP(application,手机软件),最后对本课题在智慧城市中的应用作了进一步探索。
[Abstract]:With the development of information technology and exponential growth of data , the traditional data mining algorithm has the disadvantages of low mining efficiency , difficult realization of effective application , etc .

【学位授予单位】：太原理工大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP311.13

【参考文献】