面向大数据的高效用模式挖掘方法研究

发布时间：2017-08-01 09:04

  本文关键词：面向大数据的高效用模式挖掘方法研究

  更多相关文章： 大数据 Hadoop MapReduce框架 频繁模式挖掘 高效用项集

【摘要】：随着各行业对数据越来越重视和信息技术的快速发展,产生的数据越来越全面,同时数据量也在快速的增长,并且各行业又要求能及时对已产生的数据进行挖掘和分析,这使得高效用的模式挖掘技术愈发重要。由于大数据具有海量性、实时性和动态变化性的特点,这就要求挖掘算法有较高的时空效率。尽管模式数据挖掘技术取得了一定的进展,但是挖掘算法的效率仍然是当前数据挖掘领域中的研究焦点之一。提出了一种基于包含索引的高效用项集挖掘算法IHUI-Mine。基于包含索引结构,不但可以快速发现共同出现的项目,而且还有利于搜索空间的快速剪枝。此外,算法基于二进制位图来表示数据库,不但能够节省存储空间,而且还可以充分利用位运算来提高算法的效率。实验结果表明,算法的挖掘效率高,存储开销小,可扩展性好。对高效用模式挖掘方法进行了研究。根据大数据的特点,以及典型挖掘算法在大数据中面临的问题,提出了一种面向大数据的高效用模式挖掘算法,该算法采用滑动窗口的方法来维护数据流中当前被关注的数据,并给出一种图形化的数据结构和一个表结构来维护当前窗口中的数据,使该结构可以用来挖掘当前窗口中高效用项集,同时也不会丢失数据影响下一个窗口中数据的完整性。
【关键词】：大数据 Hadoop MapReduce框架 频繁模式挖掘 高效用项集
【学位授予单位】：北方工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13
【目录】：

• 摘要3-4
• ABSTRACT4-8
• 第一章 绪论8-12
• 1.1 研究背景8
• 1.2 国内外研究现状8-10
• 1.3 主要研究内容10
• 1.4 论文组织结构10-12
• 第二章 相关理论与技术分析12-18
• 2.1 大数据概述12-13
• 2.2 云计算平台HADOOP13-14
• 2.3 MAPREDUCE框架14-17
• 2.4 本章小结17-18
• 第三章 频繁模式挖掘算法分析18-25
• 3.1 频繁模式挖掘相关定义18-19
• 3.2 频繁模式挖掘的典型算法19-22
• 3.3 典型算法在大数据中的问题22-24
• 3.4 本章小结24-25
• 第四章 基于包含索引的高效用项集挖掘算法研究25-35
• 4.1 高效用项集定义25-26
• 4.2 基于包含索引的高效用项集挖掘算法提出依据26-27
• 4.3 基于包含索引的高效用项集挖掘算法设计思想27-31
• 4.3.1 包含索引结构27-28
• 4.3.2 枚举与剪枝策略28-29
• 4.3.3 算法描述29-31
• 4.4 算法验证31-35
• 4.4.1 真实数据集的实验结果32-33
• 4.4.2 可扩展性测试实验结果33-35
• 第五章 大数据上的高效用项集挖掘算法35-45
• 5.1 算法设计思想35-37
• 5.2 面向大数据的高效用模式挖掘算法37-40
• 5.3 仿真实验与结果分析40-44
• 5.4 本章小结44-45
• 第六章 结论与展望45-47
• 6.1 结论45
• 6.2 展望45-47
• 参考文献47-51
• 在学期间的研究成果51-52
• 致谢52

【参考文献】

中国期刊全文数据库 前2条

1 燕彩蓉;孙圭宁;高念高;;基于扩展树状知识库的海量数据清洗算法[J];计算机工程与应用;2010年28期

2 华铨平;;面向数据特征的分布式数据挖掘研究[J];计算机工程与设计;2010年06期

中国硕士学位论文全文数据库 前6条

1 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年

2 李军华;云计算及若干数据挖掘算法的MapReduce化研究[D];电子科技大学;2010年

3 刘洋;基于MapReduce的中医药并行数据挖掘服务[D];浙江大学;2010年

4 纪俊;一种基于云计算的数据挖掘平台架构设计与实现[D];青岛大学;2009年

5 邓自立;云计算中的网络拓扑设计和Hadoop平台研究[D];中国科学技术大学;2009年

6 朱珠;基于Hadoop的海量数据处理模型研究和应用[D];北京邮电大学;2008年

，

本文编号：603439