基于时间序列的频繁模式挖掘研究与应用

发布时间：2017-08-14 02:28

  本文关键词：基于时间序列的频繁模式挖掘研究与应用

  更多相关文章： 时间序列 频繁模式 时间序列符号化 Map-Reduce

【摘要】：伴随着互联网的不断发展,越来越多的用户每天在网络上进行着社交、网上购物、浏览新闻等不同类型的网络活动,同时网站后台记录了这些用户大量的交互信息、购买、点击、浏览等行为,产生了海量的结构化数据,半结构化数据,甚至非结构化数据。这也促进了大数据技术的蓬勃发展。其中,数据挖掘技术就是近年在对海量用户行为数据进行整合处理和深层次模式发现的实际需求下,产生的一项非常流行且重要的技术。频繁模式挖掘是数据挖掘技术的一个重要研究方向。本文基于传统的时间序列数据挖掘研究,以气象领域的时间序列数据分析为实际应用背景,对基于时间序列频繁模式挖掘中的时间序列符号化、基于时间序列的频繁项集挖掘、基于时间序列的频繁序列挖掘和基于Hadoop平台的频繁模式挖掘等四个方面的问题进行了深入研究和分析,对于时间序列符号化技术和时间序列频繁项挖掘的关键算法提出了改进,并取得了一定成果。由于时间序列数据固有的结构特性,如高维性质、连续性以及现实观测设备引入的各种噪声使得一般的时间序列处理流程通常会先将时间序列转换成离散的、有序的字符串,再在转换后的字符序列上进行后续挖掘任务。本文在对气象数据时间序列的频繁模式挖掘中,为了更好的识别时间序列的局部趋势变化,对时间序列符号化的分段线性化步骤进行了改进,提出了基于误差增量的符号化算法。其次,为了更好处理海量的时间序列数据,本文基于Hadoop的Map-Reduce模型实现了负载均衡的FP-growth算法的分布式计算程序。最后本文还实现了基于Python的时间序列数据挖掘系统,将本文提出的算法和解决方案集成起来,并提供了可视化的图形界面。
【关键词】：时间序列 频繁模式 时间序列符号化 Map-Reduce
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13;O211.61
【目录】：

• 摘要5-6
• ABSTRACT6-9
• 第一章 绪论9-17
• 1.1 研究工作的背景与意义9-10
• 1.2 时间序列数据挖掘的研究历史与现状10-14
• 1.2.1 传统数据挖掘技术10-12
• 1.2.2 时间序列挖掘技术12-14
• 1.3 本文的主要贡献与创新14-15
• 1.4 论文的结构安排15-17
• 第二章 时间序列频繁模式挖掘的相关技术17-28
• 2.1 传统的数据挖掘处理过程17-18
• 2.2 聚类分析18-19
• 2.3 频繁项集挖掘19-20
• 2.4 频繁序列挖掘20-21
• 2.5 时间序列常用方法21-26
• 2.5.1 时间序列的分段压缩21-25
• 2.5.2 时间序列的相似性度量25-26
• 2.6 Hadoop简介26-27
• 2.7 本章小结27-28
• 第三章 时间序列符号化28-42
• 3.1 时间序列符号化的意义28
• 3.2 时间序列符号化方法28-35
• 3.2.1 筛选重要点30-31
• 3.2.2 基于增量误差的分段算法31-34
• 3.2.3 聚类符号化34-35
• 3.3 相关实验与结果分析35-41
• 3.4 本章小结41-42
• 第四章 时间序列频繁模式挖掘42-60
• 4.1 时间序列频繁项集挖掘42-48
• 4.1.1 时间序列对齐操作42-44
• 4.1.2 时间序列频繁项集挖掘44-48
• 4.2 时间序列频繁序列挖掘48-52
• 4.2.1 时间序列划分操作48-50
• 4.2.2 时间序列频繁序列挖掘50-52
• 4.3 相关实验与结果分析52-59
• 4.4 本章小结59-60
• 第五章 基于HADOOP的频繁模式挖掘60-71
• 5.1 HDFS和Map-Reduce相关介绍60-61
• 5.2 FP-growth分布式化61-69
• 5.2.1 统计频繁 1-项集63-65
• 5.2.2 平衡分组65-67
• 5.2.3 频繁模式挖掘67-69
• 5.3 相关实验结果69-70
• 5.4 本章小结70-71
• 第六章 时间序列频繁模式挖掘平台71-83
• 6.1 系统目标和原则71-73
• 6.1.1 系统目标71-72
• 6.1.2 系统设计原则72-73
• 6.2 系统架构73-75
• 6.3 系统模块设计75-82
• 6.3.1 数据加载模块75-78
• 6.3.2 预处理模块78-79
• 6.3.3 符号化模块79-81
• 6.3.4 频繁模式挖掘模块81-82
• 6.4 本章小结82-83
• 第七章 总结与展望83-85
• 7.1 工作总结83
• 7.2 后续工作展望83-85
• 致谢85-86
• 参考文献86-90

【参考文献】

中国期刊全文数据库 前6条

1 黄剑;李明奇;郭文强;;并行Fp-growth算法在搜索引擎中的应用[J];计算机科学;2015年S1期

2 王栋;;数据挖掘研究综述[J];数字技术与应用;2014年02期

3 吕雪骥;李龙澍;;FP-Growth算法MapReduce化研究[J];计算机技术与发展;2012年11期

4 高兵;邹启杰;;基于网格的聚类方法研究[J];软件工程师;2010年Z1期

5 贺玲;吴玲达;蔡益朝;;数据挖掘中的聚类算法综述[J];计算机应用研究;2007年01期

6 李斌,谭立湘,章劲松,庄镇泉;面向数据挖掘的时间序列符号化方法研究[J];电路与系统学报;2000年02期

中国重要会议论文全文数据库 前1条

1 马晓艳;唐雁;;层次聚类算法研究[A];2008年计算机应用技术交流会论文集[C];2008年

中国硕士学位论文全文数据库 前2条

1 李伟雄;基于密度的聚类算法研究[D];湖南大学;2010年

2 郑柏杰;基于划分的聚类算法研究[D];重庆大学;2005年

，

本文编号：670302