含噪动态数据流的分类研究

发布时间：2017-03-30 00:07

  本文关键词：含噪动态数据流的分类研究，由笔耕文化传播整理发布。

【摘要】：随着网络通信、计算机技术的快速发展,股市数据分析、天气预测、卫星监测、网络流量监控等多个领域都产生了数据流。由于数据流具有快速、连续与动态变化的特征,传统的数据挖掘技术对之无效。而且,动态数据流存在概念漂移现象,即隐含在数据中的概念可能会随时间变化而发生改变。因此,如何有效解决数据流中的概念漂移成为一个热门问题。而在实际生活中噪声无处不在,噪声数据的存在影响了数据流的分类效果。因此,如何有效地处理存在噪声的动态数据流是一个有待进一步研究的问题。本文对于数据流分类过程中存在的概念漂移与噪声问题主要做以下研究工作:(1)综述数据挖掘与数据流分类的相关技术,对数据流上的概念漂移、噪声问题作详细阐述和分析。(2)对于数据流分类过程中的概念漂移问题,基于“与当前分类模型不符合的实例可能代表了新概念的变化趋势”这一假设,提出一种处理概念漂移的数据流分类算法EWDSCA(Examples of weighted for data streams classification algorithm)。该方法运用实例加权思想,提高可能代表新概念实例在基分类器构建中的影响力,使分类模型能够更加适应新的概念。同时,引入动态权值调整因子来提高算法适应能力。研究表明,与weighted bagging相比,EWDSCA运行效率更高,分类效果更好。(3)在现实世界中,数据流大多包含噪声数据,噪声问题的存在大大影响了算法的分类效果。为了解决这个问题,设计出一种基于密度聚类算法的数据流分类算法FDNDCA(Fast-DBSCAN for noise data streams classification algorithm)。该算法采用快速聚类算法FDBSCAN来过滤噪声,结合实例加权思想,以UFFT为基分类器构建加权集成模型,并引入μ检验方法来检测概念漂移。研究表明,FDNDCA算法在处理含噪动态数据流方面和已有的分类算法相比,分类性能更具优势。
【关键词】：数据流挖掘 分类技术 概念漂移 噪声数据
【学位授予单位】：江苏科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13
【目录】：

• 摘要5-6
• Abstract6-12
• 第1章 绪论12-18
• 1.1 研究背景及意义12-14
• 1.1.1 研究背景12-13
• 1.1.2 研究意义13-14
• 1.2 国内外研究现状14-15
• 1.3 主要研究内容15
• 1.4 本文组织结构15-18
• 第2章 数据流分类挖掘研究18-28
• 2.1 数据流的概念及应用18-19
• 2.1.1 数据流的定义18
• 2.1.2 数据流的特点18-19
• 2.1.3 数据流的应用领域19
• 2.2 分类技术19-21
• 2.2.1 分类的定义和过程19-20
• 2.2.2 分类方法20-21
• 2.3 数据流上的概念漂移21-23
• 2.3.1 概念漂移的定义及分类21-22
• 2.3.2 概念漂移的处理方法22-23
• 2.3.3 数据流中概念漂移的基本问题23
• 2.4 数据流上的噪声问题23-25
• 2.4.1 噪声数据23-24
• 2.4.2 噪声数据流的处理24-25
• 2.5 数据流分类算法概述25-27
• 2.5.1 数据流分类算法介绍25-26
• 2.5.2 数据流分类算法的特点26-27
• 2.6 本章小结27-28
• 第3章 基于实例加权的概念漂移问题研究28-42
• 3.1 引言28
• 3.2 基于实例的概念漂移处理方法28-29
• 3.3 基于实例加权的概念漂移分类方法29-34
• 3.3.1 实例加权30-31
• 3.3.2 基分类器的更新31-32
• 3.3.3 EWDSCA算法描述32-33
• 3.3.4 EWDSCA算法分析33-34
• 3.4 实验与分析34-39
• 3.5 本章小结39-42
• 第4章 基于密度聚类方法的噪声处理42-54
• 4.1 引言42
• 4.2 FDBSCAN算法42-44
• 4.2.1 DBSCAN算法43-44
• 4.2.2 FDBSCAN算法描述44
• 4.3 UFFT简介44-46
• 4.4 FDNDCA分类算法46-48
• 4.4.1 算法描述46-47
• 4.4.2 概念漂移检测机制47-48
• 4.5 实验与分析48-53
• 4.5.1 FDBSCAN与DBSCAN算法比较48-50
• 4.5.2 概念漂移的检测50
• 4.5.3 噪声过滤效果50-51
• 4.5.4 与其他算法性能对比51-52
• 4.5.5 时间性能比较52-53
• 4.6 本章小结53-54
• 第5章 总结与展望54-56
• 5.1 本文总结54-55
• 5.2 工作展望55-56
• 参考文献56-60
• 攻读硕士学位期间发表的论文60-62
• 致谢62-63
• 详细摘要63-67

  本文关键词：含噪动态数据流的分类研究，，由笔耕文化传播整理发布。

本文编号：275737