概念漂移下数据流分类与回归算法研究及应用
发布时间：2022-01-26 11:30
随着数字地球的快速发展,越来越多的传感器每时每刻都在产生着庞大的数据流,这些数据流中隐含了大量对生产生活有价值的信息,快速、有效地挖掘这些数据中的模式规律等信息是数据挖掘的主要目的。分类和回归是数据挖掘领域的两项主要任务,由于数据流本身的高速性、连续性、潜在无穷性、时间演化性等特点,传统的静态数据挖掘算法在处理数据流时很难达到满意的效果。构建一种在线、快速、准确的增量式数据流分类、回归算法是数据挖掘领域的重要研究方向。本文提出一种基于代表性原型的数据流分类算法:算法选出有限数量的最有代表性的样本原型作为分类的训练样本集以代表数据流当前时刻最新的概念,并利用懒惰学习方法进行分类。算法通过错误率驱动的代表性学习方法在线更新代表性原型的权重以适应渐变概念漂移;通过保存误分类样本点,并利用局部误分类监控检测突变概念漂移并更新模型,进而摆脱噪声数据的影响;此外,算法通过快速最近邻压缩规则对代表性原型集合进行压缩,限制代表性原型的数量,保证了算法运行的高效性。本文提出一种基于代表性样本的数据流回归算法:算法选出有代表性的样本数据作为训练集数据,利用代表性样本构建基于递推最小二乘法的模型树,对待预测...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：79 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 研究工作的背景与意义
1.2 数据流挖掘研究现状
1.2.1 数据流的定义
1.2.2 数据流数据处理方法
1.2.3 概念漂移检测及处理方法
1.2.4 数据流分类算法研究进展
1.2.5 数据流回归算法研究进展
1.3 径流模拟研究现状
1.4 研究内容和技术路线
1.5 本文的主要贡献与创新
1.6 本论文的结构安排
第二章 概念漂移下基于代表性原型的数据流分类算法(SPL)
2.1 SPL背景介绍
2.2 在线数据维护
2.2.1 增量式代表性学习与代表样本集合更新
2.2.2 基于FCNN规则压缩ISet
2.2.3 ISet更新
2.2.4 潜在概念集合及其更新
2.3 概念漂移检测
2.4 算法概述
2.5 实验评估
2.5.1 实验设置
2.5.2 算法效果验证
2.5.3 预测性能对比与分析
2.5.4 参数敏感性分析
2.6 本章小结
第三章 概念漂移下基于代表性样本的数据流回归算法(SIR)
3.1 基于代表性样本的数据流回归算法
3.2 基于递推最小二乘法的模型树构建
3.2.1 CART回归树
3.2.2 加权最小二乘法求解线性回归
3.2.3 递推最小二乘法增量式求解线性回归
3.2.4 递推最小二乘法模型树
3.3 在线数据更新
3.4 基于SPC的概念漂移检测
3.5 算法概述
3.6 实验评估
3.6.1 算法效果验证
3.6.2 预测性能对比
3.7 本章小结
第四章 基于SIR算法的流域径流动态模拟
4.1 研究区域
4.2 数据说明与获取
4.3 径流模拟结果
4.4 与传统机器学习方法对比
4.5 与水文模型对比
4.6 实验结果及分析
4.7 本章小结
第五章 全文总结与展望
5.1 全文总结
5.2 后续工作展望
致谢
参考文献
附录
攻读硕士学位期间取得的成果
【参考文献】：
期刊论文
[1]分布式水文模型的回顾与展望[J]. 王泽群. 绿色科技. 2018(18)
[2]机器学习在径流预测中的应用研究[J]. 苏辉东,贾仰文,倪广恒,龚家国,曹雪健,张明曦,牛存稳,张迪. 中国农村水利水电. 2018(06)
[3]基于小波支持向量机耦合的月径流预测方法[J]. 黄巧玲,粟晓玲. 水力发电学报. 2015(03)
[4]多隐层BP神经网络模型在径流预测中的应用[J]. 崔东文. 水文. 2013(01)
[5]黄河中游水文变化趋势及其对气候变化的响应[J]. 张建云,王国庆,贺瑞敏,刘翠善. 水科学进展. 2009(02)
[6]基于径流模拟的汉江上游区水资源对气候变化响应的研究[J]. 朱利,张万昌. 资源科学. 2005(02)
[7]径流长期预报的人工神经网络方法[J]. 蔡煜东,姚林声. 水科学进展. 1995(01)
博士论文
[1]流域水文建模及预报方法研究[D]. 郭俊.华中科技大学 2013
硕士论文
[1]环境下基于数据挖掘的径流演化分析[D]. 张恒.电子科技大学 2018
[2]基于机器学习的渭河流域径流预测系统研究[D]. 左岗岗.西安理工大学 2017
本文编号：3610416
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：79 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 研究工作的背景与意义
1.2 数据流挖掘研究现状
1.2.1 数据流的定义
1.2.2 数据流数据处理方法
1.2.3 概念漂移检测及处理方法
1.2.4 数据流分类算法研究进展
1.2.5 数据流回归算法研究进展
1.3 径流模拟研究现状
1.4 研究内容和技术路线
1.5 本文的主要贡献与创新
1.6 本论文的结构安排
第二章 概念漂移下基于代表性原型的数据流分类算法(SPL)
2.1 SPL背景介绍
2.2 在线数据维护
2.2.1 增量式代表性学习与代表样本集合更新
2.2.2 基于FCNN规则压缩ISet
2.2.3 ISet更新
2.2.4 潜在概念集合及其更新
2.3 概念漂移检测
2.4 算法概述
2.5 实验评估
2.5.1 实验设置
2.5.2 算法效果验证
2.5.3 预测性能对比与分析
2.5.4 参数敏感性分析
2.6 本章小结
第三章 概念漂移下基于代表性样本的数据流回归算法(SIR)
3.1 基于代表性样本的数据流回归算法
3.2 基于递推最小二乘法的模型树构建
3.2.1 CART回归树
3.2.2 加权最小二乘法求解线性回归
3.2.3 递推最小二乘法增量式求解线性回归
3.2.4 递推最小二乘法模型树
3.3 在线数据更新
3.4 基于SPC的概念漂移检测
3.5 算法概述
3.6 实验评估
3.6.1 算法效果验证
3.6.2 预测性能对比
3.7 本章小结
第四章 基于SIR算法的流域径流动态模拟
4.1 研究区域
4.2 数据说明与获取
4.3 径流模拟结果
4.4 与传统机器学习方法对比
4.5 与水文模型对比
4.6 实验结果及分析
4.7 本章小结
第五章 全文总结与展望
5.1 全文总结
5.2 后续工作展望
致谢
参考文献
附录
攻读硕士学位期间取得的成果
【参考文献】：
期刊论文
[1]分布式水文模型的回顾与展望[J]. 王泽群. 绿色科技. 2018(18)
[2]机器学习在径流预测中的应用研究[J]. 苏辉东,贾仰文,倪广恒,龚家国,曹雪健,张明曦,牛存稳,张迪. 中国农村水利水电. 2018(06)
[3]基于小波支持向量机耦合的月径流预测方法[J]. 黄巧玲,粟晓玲. 水力发电学报. 2015(03)
[4]多隐层BP神经网络模型在径流预测中的应用[J]. 崔东文. 水文. 2013(01)
[5]黄河中游水文变化趋势及其对气候变化的响应[J]. 张建云,王国庆,贺瑞敏,刘翠善. 水科学进展. 2009(02)
[6]基于径流模拟的汉江上游区水资源对气候变化响应的研究[J]. 朱利,张万昌. 资源科学. 2005(02)
[7]径流长期预报的人工神经网络方法[J]. 蔡煜东,姚林声. 水科学进展. 1995(01)
博士论文
[1]流域水文建模及预报方法研究[D]. 郭俊.华中科技大学 2013
硕士论文
[1]环境下基于数据挖掘的径流演化分析[D]. 张恒.电子科技大学 2018
[2]基于机器学习的渭河流域径流预测系统研究[D]. 左岗岗.西安理工大学 2017
本文编号：3610416
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3610416.html
