基于孤立森林算法的取用水量异常数据检测方法

发布时间：2021-11-04 15:52

　　水资源管理系统中储存着海量的取用水量数据,通过筛选数据中的异常值定位异常取水行为,是水资源监管的重要手段。对取用水量数据中的异常值普遍缺乏明确定义,传统的异常值检测算法在实时性和稳定性方面存在不足。在总结归纳现阶段取用水量异常数据种类、特点的基础上,首先运用平均插值法对可直观识别异常值进行预处理,在预处理后的数据中随机取样训练,建立多个孤立二叉树形成孤立森林,以此为工具对数据样本进行异常值检测。对某供水公司连续两年日取水量监测数据的实证分析结果表明,基于孤立森林算法的异常值检测方法将数据样本的特征通过非监督学习方式存储在森林中,具有更高的稳定性;能够准确检测出数据样本中的异常值,相比于传统最小二乘拟合方法具有更高的检出率。 

【文章来源】：中国水利水电科学研究院学报. 2020,18(01)北大核心

【文章页数】：9 页

【部分图文】：

孤立森林算法原理

同上，对该城市供水企业2016年数据进行可直观识别异常值的处理。在全部366条数据中，共有有效数据364条，缺失数据2条。数据中不存在负值、零值、固定值等情况，补充缺失数据后可直接进行分析检测异常值，数据预处理结果如表4所示，2016年数据预处理前后效果对比见图3。与对2017年数据的处理方式相同，对预处理后的2016年样本数据进行特征分析，结果如表5所示。图3 2016年数据预处理前后效果对比

2016年数据预处理前后效果对比

【参考文献】：
期刊论文
[1]基于用户画像的异常行为检测[J]. 朱佳俊,陈功,施勇,薛质.  通信技术. 2017(10)
[2]基于EEMD的水资源监测数据异常值检测与校正[J]. 方海泉,薛惠锋,蒋云钟,周铁军,万毅,王海宁.  农业机械学报. 2017(09)
[3]拉依达准则在处理区域水文数据异常值中的应用[J]. 侍建国,张亦飞.  海河水利. 2016(05)
[4]时间序列异常值探测的Bayes方法及其GNSS数据质量控制中的应用[J]. 王琰,张倩倩,车通宇,刘永.  中国惯性技术学报. 2016(01)
[5]一种新的基于回归分析的异常值检测[J]. 尚华,张贝贝,纪宏.  河南大学学报(自然科学版). 2015(06)
[6]一种基于小波变换的超高压线路故障选相方法[J]. 王爱军,李宏,张小桃.  电力系统保护与控制. 2013(12)
[7]一种基于阴性选择算法的飞行数据异常值检测方法[J]. 韩旻,赵清洲.  航空计算技术. 2010(04)
[8]基于格拉布斯法的试验数据分析方法[J]. 肖树臣,秦玉勋,韩吉庆.  弹箭与制导学报. 2007(01)
[9]基于小波分析的异常样本处理[J]. 彭小奇,宋彦坡,唐英.  信息与控制. 2005(06)

硕士论文
[1]基于机器学习的电力异常数据检测[D]. 张为金.电子科技大学 2018
[2]基于数据挖掘的用电数据异常的分析与研究[D]. 张荣昌.北京交通大学 2017
[3]基于小波分析的时间序列异常值检验[D]. 张利红.湘潭大学 2017



本文编号：3476039