频繁模式挖掘技术的研究及其在实时信号处理中的应用

发布时间：2017-07-03 19:25

  本文关键词：频繁模式挖掘技术的研究及其在实时信号处理中的应用

  更多相关文章： 频繁模式 数据挖掘 数据流 滑动窗口

【摘要】：随着信息技术在各领域的高速发展,频繁模式挖掘技术在实际生活中得到了广泛的应用,如在生物学中用于疾病的预防和治疗,金融行业则用于防止和规避金融风险以及在军事领域中的异常检测等。对时序数据的挖掘分析已经成为一个热点研究问题。其中,实时数据的频繁模式挖掘是基本问题之一,因此对数据流的频繁模式挖掘方法的研究具有更高的挑战意义。本文研究频繁模式挖掘技术在实时信号数据中的应用,希望通过挖掘实时信号数据的频繁模式提高雷达信号数据的质量,发现入侵行为,为设备的故障诊断及辅助军事侦察等提供可靠信息。基于时序数据的频繁模式挖掘,本文对时序数据预处理的方法进行研究,并对已有的最大频繁模式挖掘算法和闭频繁模式挖掘算法进行了改进,主要工作包括:1.研究静态数据集中的频繁模式挖掘算法,在基于模式增长的Prefixspan算法上提出了一种改进的S-Prefixspan算法挖掘最大频繁模式。该算法在Prefixspan算法的基础上做了两点改进:针对现存Prefixspan算法在挖掘的过程中需要扫描两次数据库以及会产生大量投影数据库而消耗内存,提出了一种基于位图映射思想的链式存储结构,该数据结构中存储频繁项在序列中的位置,通过该数据结构减少投影数据库的构建及一次扫描即可,节省了内存,提高了运行效率。同时,为了提高搜索的效率,在生成频繁模式的过程中,通过有效的剪枝操作可以进一步提高查找的效率。2.研究数据流中的频繁模式挖掘算法,在Moment算法的基础上提出了一种改进的OS-Moment算法挖掘闭频繁模式。改进的算法主要针对Moment算法在挖掘的过程中存在搜索空间比较大,中间无用结果比较多和只能挖掘无序序列等问题做相关的改进。改进的算法利用二进制位表示各个项便于计算项集的支持度数,提高了运行效率;设计链式存储结构维护项的序列信息有效的解决了原算法只能对无序序列挖掘的弊端;提出一种新的索引模式树的存储结构来存储闭频繁项集加快了结果的查询及结点信息的更新。同时,在挖掘过程中通过合理的剪枝策略,避免生成大量的无用结果,进一步提高了算法的运行效率。3.在雷达实时信号数据中对改进的算法分别做了相关实验,分析改进算法在时间和空间上效率的提升。
【关键词】：频繁模式 数据挖掘 数据流 滑动窗口
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13;TN911.7
【目录】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 绪论11-15
• 1.1 研究背景及意义11-12
• 1.2 国内外研究现状12-13
• 1.3 论文的主要研究内容13
• 1.4 论文的组织结构13-15
• 第二章 频繁模式挖掘相关技术15-28
• 2.1 频繁模式挖掘概述15
• 2.2 数据在预处理中的主要方法15-18
• 2.2.1 数据清理15-16
• 2.2.2 数据集成16
• 2.2.3 数据变换16-17
• 2.2.4 数据归约17-18
• 2.3 静态数据集中频繁模式挖掘18-23
• 2.3.1 基于候选集的挖掘算法18-19
• 2.3.2 基于模式增长的挖掘算法19-20
• 2.3.3 基于位图的挖掘算法20-23
• 2.4 数据流中频繁模式挖掘23-27
• 2.4.1 基于界标时间窗模型的算法25
• 2.4.2 基于滑动时间窗模型的算法25-27
• 2.5 本章小结27-28
• 第三章 基于位图的最大频繁模式挖掘算法28-41
• 3.1 位图的表示方法28-31
• 3.1.1 时序数据的位图表示28-30
• 3.1.2 位图的链式存储结构30-31
• 3.2 基于位图的S-Prefixspan算法31-38
• 3.2.1 数据噪声去除32-33
• 3.2.2 数据分块33-34
• 3.2.3 位图映射34-35
• 3.2.4 频繁模式挖掘35-37
• 3.2.5 算法伪代码37-38
• 3.3 性能分析38-40
• 3.3.1 时间效率对比分析38-39
• 3.3.2 空间效率对比分析39-40
• 3.4 本章小结40-41
• 第四章 基于滑动窗口闭频繁模式挖掘算法41-51
• 4.1 滑动窗口的闭频繁模式挖掘41-43
• 4.1.1 相关定义及概念41
• 4.1.2 滑动窗口模型41-42
• 4.1.3 闭频繁模式挖掘方法42-43
• 4.2 基于滑动窗口的OS-Moment算法43-49
• 4.2.1 基于索引树的数据存储模型44-47
• 4.2.2 频繁模式支持度的计算47
• 4.2.3 索引树的数据更新47-49
• 4.3 性能分析49-50
• 4.3.1 时间效率对比分析49-50
• 4.3.2 空间效率对比分析50
• 4.4 本章小结50-51
• 第五章 算法测试与实验对比51-63
• 5.1 数据预处理的仿真实验51-56
• 5.1.1 雷达信号原始数据51-52
• 5.1.2 噪声处理52-54
• 5.1.3 数据分块54-56
• 5.2 最大频繁模式挖掘实验对比56-59
• 5.2.1 雷达数据挖掘结果56-58
• 5.2.2 实验对比58-59
• 5.3 闭频繁项集模式挖掘实验对比59-62
• 5.3.1 雷达数据挖掘结果59-61
• 5.3.2 实验对比61-62
• 5.4 本章小结62-63
• 第六章 总结与展望63-65
• 6.1 全文总结63
• 6.2 后续工作展望63-65
• 致谢65-66
• 参考文献66-70

【参考文献】

中国期刊全文数据库 前10条

1 吴孔玲;缪裕青;苏杰;张晓华;;序列模式挖掘研究[J];计算机系统应用;2012年06期

2 刘步中;;基于频繁项集挖掘算法的改进与研究[J];计算机应用研究;2012年02期

3 单显明;;基于数据挖掘技术的炮兵雷达故障诊断[J];火控雷达技术;2011年03期

4 陈景强;翁正秋;;一种基于投影数据库的SPAM算法[J];电脑知识与技术;2010年07期

5 李甲林;;Web日志挖掘中的数据预处理技术研究与实现[J];电脑知识与技术;2009年14期

6 赵峰;李庆华;金莉;;多维流序列并行预测算法研究[J];小型微型计算机系统;2007年02期

7 刘立军;崔杰;梅红岩;;GSP与PrefixSpan算法的比较与分析[J];辽宁工学院学报;2006年05期

8 潘云鹤;王金龙;徐从富;;数据流频繁模式挖掘研究进展[J];自动化学报;2006年04期

9 夏明波;王晓川;孙永强;金士尧;;序列模式挖掘算法研究[J];计算机技术与发展;2006年04期

10 张昕;李晓光;王大玲;于戈;;数据流中一种快速启发式频繁模式挖掘方法[J];软件学报;2005年12期

中国重要会议论文全文数据库 前1条

1 童咏昕;张媛媛;袁玫;马世龙;于丹;赵莉;;一种挖掘压缩序列模式的有效算法[A];第26届中国数据库学术会议论文集（A辑）[C];2009年

中国博士学位论文全文数据库 前1条

1 刘云霞;数据归约的统计方法研究及应用[D];厦门大学;2007年

中国硕士学位论文全文数据库 前4条

1 赵利;基于RFID中间件的海量数据集成技术及其在现代物流决策分析中应用研究[D];扬州大学;2012年

2 黄威;数据流的频繁模式挖掘算法研究[D];西安科技大学;2010年

3 汪志贞;数据挖掘技术在短时交通流预测上的应用研究[D];西安电子科技大学;2010年

4 顾锐;数据挖掘技术在雷达数据处理中的应用[D];南京理工大学;2010年

  本文关键词：频繁模式挖掘技术的研究及其在实时信号处理中的应用

  更多相关文章： 频繁模式 数据挖掘 数据流 滑动窗口

，

本文编号：514932