制造物联海量数据流模式挖掘算法研究

发布时间：2017-10-28 19:00

  本文关键词：制造物联海量数据流模式挖掘算法研究

  更多相关文章： IOMT 频繁项挖掘 Hadoop 闭频繁项 海量数据流

【摘要】：制造物联(Internet of Manufacturing Things, IOMT)是一种新型的制造与信息融合的生态系统,将嵌入式、RFID、网络、传感器及执行器等制造技术与电子信息技术相融合,实现对产品设计、制造与服务过程中信息资源与制造资源的动态感知、智能处理、海量挖掘、与优化控制的一种新型的信息服务模式与制造模式。IOMT部署了大量的感知节点在现场来实时监控生产环境情况等,产生了海量的分布式制造数据流以及海量制造数据。传统的频繁模式挖掘算法无法满足当前制造物联的应用要求,因此设计高效可行的频繁模式挖掘算法挖掘出有用知识就成为了新的挑战。本文着重分析了IOMT内产生的制造数据数量巨大和实时数据流海量分布的特点,在对现有的数据流频繁模式挖掘算法进行深入研究的基础上,提出并设计了面向IOMT这个特定环境下的海量数据流频繁模式挖掘的高效算法,并通过实验仿真验证其高效性。本文的主要工作概括如下：(1)分析了传统的频繁项集挖掘算法以及数据流频繁模式挖掘算法,并结合制造物联中产生的数据特性,综合分析它们的优缺点。(2)针对制造物联制造数据海量的特点,而传统的Aprioir算法面向海量数据挖掘效率低的问题,本文提出了一种基于MapReduce的高效频繁模式挖掘算法。该算法首先采用AprioriTid算法来对原始的数据进行预处理,删除所有的低频1-项集,然后计算出每次处理集(L)和最小支持度(N)的长度来确定Map操作结束后的最大合并项候选集。算法减少了Map任务中低频项集的生成以及分散主机间的通信量,通过与已存算法进行实验仿真对比表明：该算法大大的减少了内存的占用,提高了挖掘效率。(3)针对制造物联实时产生海量分布式制造流的特点,以及感知节点计算能力不足和资源有限的问题。本文提出了一种基于MapReduce的数据流闭频繁模式挖掘算法。该算法提出一种改进的FP-Tree数据结构,通过对分布式节点构建窗口树IFP-Tree,然后动态的对IFP-Tree进行更新、减枝及挖掘,能够迅速响应查询请求,返回任意时间窗口内事务数据流的闭频繁模式集。实验结果表明：该算法在保证挖掘结果准确性的前提下,有效的缩短了用户查询响应时间,且具有很好的可扩展性。
【关键词】：IOMT 频繁项挖掘 Hadoop 闭频繁项 海量数据流
【学位授予单位】：广东工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13
【目录】：

• 摘要4-5
• ABSTRACT5-13
• 第一章 绪论13-21
• 1.1 课题的研究背景及意义13-16
• 1.1.1 研究背景13-14
• 1.1.2 研究意义14-16
• 1.2 国内外研究现状16-18
• 1.2.1 海量数据频繁模式挖掘算法研究现状16-17
• 1.2.2 海量分布式数据流频繁模式挖掘算法研究现状17-18
• 1.3 课题来源及本文主要研究内容与结构18-19
• 1.3.1 课题来源18-19
• 1.3.2 本文研究内容及创新点19
• 1.4 论文结构19-21
• 第二章 相关概念及算法分析21-33
• 2.1 数据挖掘概述21-22
• 2.2 静态数据集频繁模式挖掘算法研究22-27
• 2.2.1 Apriori算法22-24
• 2.2.2 Apriori TID算法24-25
• 2.2.3 FP-Growth算法25-27
• 2.3 动态数据流频繁模式挖掘算法研究27-32
• 2.3.1 传统数据流频繁模式挖掘算法27-29
• 2.3.2 分布式数据流频繁模式挖掘算法29-32
• 2.4 本章小结32-33
• 第三章 HADOOP概述33-39
• 3.1 Hadoop简介33-34
• 3.2 Hadoop分布式文件系统34-36
• 3.2.1 HDFS系统架构34-35
• 3.2.2 HDFS性能分析35-36
• 3.3 MapReduce编程模型36-38
• 3.3.1 MapReduce简介36-37
• 3.3.2 MapReduce工作原理37
• 3.3.3 MapReduce数据流程37-38
• 3.4 本章小结38-39
• 第四章 海量数据频繁模式挖掘算法39-54
• 4.1 问题描述39-41
• 4.2 IFAMR算法41-48
• 4.2.1 算法整体架构41-42
• 4.2.2 算法具体流程42-45
• 4.2.3 算法示例45-48
• 4.3 实验仿真分析48-52
• 4.3.1 实验配置48-49
• 4.3.2 实验说明49
• 4.3.3 结果分析49-52
• 4.4 本章小结52-54
• 第五章 海量分布式数据流闭频繁模式挖掘算法54-69
• 5.1 问题描述和理论基础54-59
• 5.1.1 问题描述54-55
• 5.1.2 相关概念55-57
• 5.1.3 分布式窗口树57-59
• 5.2 IFPM-DDS算法59-65
• 5.2.1 算法整体架构59-60
• 5.2.2 算法具体流程60-65
• 5.3 实验仿真分析65-68
• 5.3.1 实验配置和说明65-66
• 5.3.2 结果分析66-68
• 5.4 本章小结68-69
• 结语与展望69-71
• 参考文献71-75
• 攻读学位期间发表的学术论文75-76
• 攻读学位期间参加的科研项目76-78
• 致谢78

【参考文献】

中国期刊全文数据库 前10条

1 唐颖峰;陈世平;;一种面向分布式数据流的闭频繁模式挖掘方法[J];计算机应用研究;2015年12期

2 何员子;;数据挖掘技术及应用[J];信息通信;2014年12期

3 应毅;刘亚军;;MapReduce并行计算技术发展综述[J];计算机系统应用;2014年04期

4 戴小廷;;关联规则数据挖掘算法及其在智能物流中的应用分析[J];科技和产业;2014年02期

5 侯瑞春;丁香乾;陶冶;王鲁升;井润环;李建华;;制造物联及相关技术架构研究[J];计算机集成制造系统;2014年01期

6 姚锡凡;于淼;陈勇;项子灿;;制造物联的内涵、体系结构和关键技术[J];计算机集成制造系统;2014年01期

7 董新华;李瑞轩;周湾湾;王聪;薛正元;廖东杰;;Hadoop系统性能优化与功能增强综述[J];计算机研究与发展;2013年S2期

8 周兴华;陆建峰;汤九斌;;基于多线程技术的数据流频繁模式挖掘[J];计算机应用;2013年S1期

9 洪月华;;传感器网络分布式数据流的频繁项集挖掘算法[J];计算机科学;2013年02期

10 亓开元;韩燕波;赵卓峰;房俊;;支持高并发数据流处理的MapReduce中间结果缓存[J];计算机研究与发展;2013年01期

，

本文编号：1109496