基于Hadoop的大数据关联规则挖掘算法与应用研究
发布时间：2021-07-16 19:40
数据挖掘是从数据中挖掘有用、有趣的知识的过程,关联规则挖掘是数据挖掘的主要功能之一,其目的是发现事务项之间存在的隐含关联。随着人们进入大数据时代,传统的单机关联规则挖掘算法已难以满足需求,表现出挖掘时间过长、内存无法处理待挖掘数据等问题,这促进了大数据关联规则挖掘算法的研究。在目前的大数据关联规则挖掘算法的研究中,大多是基于MapReduce并行计算模型、Hadoop分布式平台实现,并行算法的整体性能仍然取决于核心关联规则挖掘算法的性能。对此,本文研究关联规则挖掘的一种高效算法PrePost,充分分析它存在的问题,在此基础上提出一种改进算法Prune-PrePost,继而提出基于MapReduce计算模型的并行化算法MRPrune-PrePost,并将其应用于滑坡变形的规律挖掘。本文的主要工作如下:（1）研究关联规则挖掘的一种高效算法PrePost,充分分析了它存在的问题。PrePost算法通过N-list的交叉运算来挖掘频繁项集,事实证明,它是高效的算法。但是充分分析PrePost算法后发现它存在如下的问题:挖掘频繁2-项集的时间消耗很大;算法剪枝程度不够,仍然存在大量的候选项集需要...
【文章来源】：武汉理工大学湖北省 211工程院校 教育部直属院校
【文章页数】：98 页
【学位级别】：硕士
【部分图文】：
图2-12分析PrePost挖掘频繁项集的过程
武汉理工大学硕士学位论文43快1.2~1.5倍。图3-6pumsb数据集上的运行时间图3-7mushroom数据集上的运行时间图3-8connect数据集上的运行时间
武汉理工大学硕士学位论文43快1.2~1.5倍。图3-6pumsb数据集上的运行时间图3-7mushroom数据集上的运行时间图3-8connect数据集上的运行时间
【参考文献】：
期刊论文
[1]基于MapReduce计算模型的并行关联规则挖掘算法研究综述[J]. 肖文,胡娟,周晓峰. 计算机应用研究. 2018(01)
[2]关联规则应用下的高校图书馆图书推荐服务[J]. 陈淑英,徐剑英,刘玉魏,山洁. 图书馆论坛. 2018(02)
[3]基于差分隐私的不确定数据频繁项集挖掘算法[J]. 丁哲,秦臻,秦志光. 计算机应用研究. 2018(07)
[4]库水位升降作用下不同滑面形态老滑坡响应规律[J]. 李松林,许强,汤明高,钱灵杰,任俊谦. 工程地质学报. 2017(03)
[5]关联规则挖掘综述[J]. 崔妍,包志强. 计算机应用研究. 2016(02)
[6]推移式滑坡渐进破坏机制及稳定性分析[J]. 卢应发,黄学斌,刘德富. 岩石力学与工程学报. 2016(02)
[7]基于模式增长的不确定数据的频繁模式挖掘算法[J]. 王乐,常艳芬,王水. 计算机应用. 2015(07)
[8]基于关联规则算法的滑坡判据动态提取研究[J]. 段功豪,牛瑞卿,咬登魁. 安全与环境工程. 2014(06)
[9]三峡库区树坪滑坡变形特征及其诱发因素研究[J]. 胡畅,牛瑞卿. 安全与环境工程. 2013(02)
[10]三峡库区老蛇窝滑坡变形规律数据挖掘[J]. 付杰,牛瑞卿. 人民长江. 2012(23)
博士论文
[1]三峡库区万州区堆积体滑坡地下水响应及稳定性研究[D]. 刘毅.中国地质大学 2018
[2]库水位升降对岩质岸坡变形及稳定性的影响研究[D]. 余志刚.重庆大学 2017
[3]大数据处理技术与系统研究[D]. 顾荣.南京大学 2016
[4]基于多结构数据挖掘的滑坡灾害预测模型研究[D]. 段功豪.中国地质大学 2016
[5]渐进式滑坡多场信息演化特征与数据挖掘研究[D]. 马俊伟.中国地质大学 2016
[6]三峡库区蓄水过程中滑坡变形规律研究[D]. 赵艳南.中国地质大学 2015
[7]三峡库区万州区滑坡灾害风险评估研究[D]. 王佳佳.中国地质大学 2015
[8]持续降雨入渗非饱和黏土边坡失稳机理及其应用研究[D]. 刘子振.兰州大学 2014
硕士论文
[1]降雨入渗条件下的水气响应及边坡稳定性分析[D]. 何健.中国地质大学(北京) 2018
[2]基于MapReduce并行的关联规则挖掘算法研究与应用[D]. 李琪.北京邮电大学 2018
[3]水库环境中碎石土滑体渗透性对滑坡稳定性的控制作用[D]. 刘哲儒.中国地质大学(北京) 2017
[4]数据挖掘分类算法的研究和应用[D]. 乐明明.电子科技大学 2017
[5]关联规则挖掘的并行化算法研究[D]. 刘智勇.东南大学 2016
[6]降雨与库水位作用下白水河滑坡渐进破坏概率研究[D]. 易贤龙.中国地质大学 2016
[7]川东巴州区滑坡发育规律及危险性预测评价[D]. 林涛.成都理工大学 2015
[8]基于压缩FP-tree的频繁项集快速挖掘算法研究[D]. 吴倩.华东理工大学 2015
[9]数据挖掘中关联规则算法的研究与改进[D]. 张玺.北京邮电大学 2015
本文编号：3287637
【文章来源】：武汉理工大学湖北省 211工程院校 教育部直属院校
【文章页数】：98 页
【学位级别】：硕士
【部分图文】：
图2-12分析PrePost挖掘频繁项集的过程
武汉理工大学硕士学位论文43快1.2~1.5倍。图3-6pumsb数据集上的运行时间图3-7mushroom数据集上的运行时间图3-8connect数据集上的运行时间
武汉理工大学硕士学位论文43快1.2~1.5倍。图3-6pumsb数据集上的运行时间图3-7mushroom数据集上的运行时间图3-8connect数据集上的运行时间
【参考文献】：
期刊论文
[1]基于MapReduce计算模型的并行关联规则挖掘算法研究综述[J]. 肖文,胡娟,周晓峰. 计算机应用研究. 2018(01)
[2]关联规则应用下的高校图书馆图书推荐服务[J]. 陈淑英,徐剑英,刘玉魏,山洁. 图书馆论坛. 2018(02)
[3]基于差分隐私的不确定数据频繁项集挖掘算法[J]. 丁哲,秦臻,秦志光. 计算机应用研究. 2018(07)
[4]库水位升降作用下不同滑面形态老滑坡响应规律[J]. 李松林,许强,汤明高,钱灵杰,任俊谦. 工程地质学报. 2017(03)
[5]关联规则挖掘综述[J]. 崔妍,包志强. 计算机应用研究. 2016(02)
[6]推移式滑坡渐进破坏机制及稳定性分析[J]. 卢应发,黄学斌,刘德富. 岩石力学与工程学报. 2016(02)
[7]基于模式增长的不确定数据的频繁模式挖掘算法[J]. 王乐,常艳芬,王水. 计算机应用. 2015(07)
[8]基于关联规则算法的滑坡判据动态提取研究[J]. 段功豪,牛瑞卿,咬登魁. 安全与环境工程. 2014(06)
[9]三峡库区树坪滑坡变形特征及其诱发因素研究[J]. 胡畅,牛瑞卿. 安全与环境工程. 2013(02)
[10]三峡库区老蛇窝滑坡变形规律数据挖掘[J]. 付杰,牛瑞卿. 人民长江. 2012(23)
博士论文
[1]三峡库区万州区堆积体滑坡地下水响应及稳定性研究[D]. 刘毅.中国地质大学 2018
[2]库水位升降对岩质岸坡变形及稳定性的影响研究[D]. 余志刚.重庆大学 2017
[3]大数据处理技术与系统研究[D]. 顾荣.南京大学 2016
[4]基于多结构数据挖掘的滑坡灾害预测模型研究[D]. 段功豪.中国地质大学 2016
[5]渐进式滑坡多场信息演化特征与数据挖掘研究[D]. 马俊伟.中国地质大学 2016
[6]三峡库区蓄水过程中滑坡变形规律研究[D]. 赵艳南.中国地质大学 2015
[7]三峡库区万州区滑坡灾害风险评估研究[D]. 王佳佳.中国地质大学 2015
[8]持续降雨入渗非饱和黏土边坡失稳机理及其应用研究[D]. 刘子振.兰州大学 2014
硕士论文
[1]降雨入渗条件下的水气响应及边坡稳定性分析[D]. 何健.中国地质大学(北京) 2018
[2]基于MapReduce并行的关联规则挖掘算法研究与应用[D]. 李琪.北京邮电大学 2018
[3]水库环境中碎石土滑体渗透性对滑坡稳定性的控制作用[D]. 刘哲儒.中国地质大学(北京) 2017
[4]数据挖掘分类算法的研究和应用[D]. 乐明明.电子科技大学 2017
[5]关联规则挖掘的并行化算法研究[D]. 刘智勇.东南大学 2016
[6]降雨与库水位作用下白水河滑坡渐进破坏概率研究[D]. 易贤龙.中国地质大学 2016
[7]川东巴州区滑坡发育规律及危险性预测评价[D]. 林涛.成都理工大学 2015
[8]基于压缩FP-tree的频繁项集快速挖掘算法研究[D]. 吴倩.华东理工大学 2015
[9]数据挖掘中关联规则算法的研究与改进[D]. 张玺.北京邮电大学 2015
本文编号：3287637
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3287637.html
