基于分布式平台的高效用数据挖掘算法研究

发布时间：2021-07-26 09:46

　　互联网与大数据时代的到来,各行各业的数据都呈现爆炸式的增长,对现有的存储方案以及数据挖掘带来重大的挑战。数据挖掘技术不仅能够有效地处理已有的数据,而且能够从海量的数据中挖掘出有价值的信息,从而为实际的生产、运营和发展提供正确的导向作用。频繁项集挖掘（Frequent Itemset Mining,FIM）是数据挖掘的一个基础方法,常被用来挖掘各个事物之间的联系。FIM仅考虑事物出现的次数,没有考虑其本身的价值,因而有学者提出了高效用项集挖掘（High-Utility Itemset Mining,HUIM）的方法。HUIM综合考虑事物本身的价值和频率两个因素,相比FIM拥有更实际的导向作用。HUIM的目的是在给定的数据集中挖掘出所有高于阈值的项集。针对现有的HUIM算法存在的执行时间长、占用内存高等问题,本文提出了基于改进数据集的高效用数据挖掘算法（Efficienthigh-utility itemset mining based on a novel data structure,EIM-DS）。为了进一步提升EIM-DS算法的执行效率,提出了基于多线程的EIM-DS算法。针对数据... 

【文章来源】：江南大学江苏省 211工程院校 教育部直属院校

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

数据分解过程图

【参考文献】：
期刊论文
[1]大数据环境下基于前缀树的频繁项集挖掘[J]. 黄彩娟,刘卓华,所辉,杨滨.  控制工程. 2019(11)
[2]基于差集的高效用项集挖掘方法[J]. 黄坤,吴玉佳,李晶.  电子学报. 2018(08)
[3]一种垂直结构的高效用项集挖掘算法[J]. 黄坤,吴玉佳.  大连理工大学学报. 2017(05)
[4]一种基于MapReduce模型的高效频繁项集挖掘算法[J]. 朱坤,黄瑞章,张娜娜.  计算机科学. 2017(07)
[5]减少候选项集的数据流高效用项集挖掘算法[J]. 茹蓓,贺新征.  计算机应用研究. 2017(11)
[6]基于效用表的快速高平均效用挖掘算法[J]. 王敬华,罗相洲,吴倩.  计算机应用. 2016(11)
[7]基于MapReduce的top-k高效用模式挖掘算法[J]. 吴倩,王林平,罗相洲,崔建群,王海.  计算机应用研究. 2017(10)
[8]基于聚类划分的高效用模式并行挖掘算法[J]. 邢淑凝,刘方爱,赵晓晖.  计算机应用. 2016(08)
[9]基于投影的高效用项集挖掘算法[J]. 王敬华,罗相洲,吴倩.  小型微型计算机系统. 2016(06)
[10]基于模式增长方式的高效用模式挖掘算法[J]. 王乐,熊松泉,常艳芬,王水.  自动化学报. 2015(09)



本文编号：3303326