基于约束的数据清洗方法研究

发布时间：2021-08-20 05:21

　　随着信息化进程的推进,大数据时代到来,如何有效地从海量数据中获取信息成为当前学术探讨的热点。数据挖掘作为一种获得信息的手段被广泛关注的同时,数据清洗逐步成为一个新的研究热点。本文对基于约束的数据清洗方法进行研究。针对异常点的检测问题进行研究,提出了一种基于动态规则约束的异常点检测算法,该算法采用双窗口限流的策略,将整个待修复序列和待预测序列的全局最优问题分别转化为检测窗口和预测窗口的局部最优问题,从而实现在线清洗的功能。在动态规则约束求解的过程中,对机器学习中的ELM算法进行优化,运用优化后的算法对速度变化率进行预测,根据引入的误差系数θ求解动态规则。以动态规则和最小改变原则两个约束条件,对异常点进行检测。针对异常点的修复问题进行研究,提出了一种基于中值定理的异常点修复方法,该方法针对不同的异常点情况,拥有不同的修复策略。在针对间断异常点的修复时,遵循中值定理和最小改变原则,将最优修复方案转化成寻找中间点的问题,并证明了该中间点的修复方案就是最优修复方案;针对连续异常点的修复时,若异常点位于真实数据的上方,则采用间断异常点修复算法的下边界作为修复值,反之则采用上边界作为修复值。经过实验... 

【文章来源】：沈阳航空航天大学辽宁省

【文章页数】：61 页

【学位级别】：硕士

【部分图文】：

参数设置模块系统界面图

图 6.3 参数设置模块系统界面图据预处理模块处理模块主要是完成数据格式的转化问题。用户将其要清洗的数数据是不断到来的，只要将其更新到文件中即可。数据处理功能处理，分别生成清洗文件和预测文件，这个两个文件的参数来源口的设定。预测文件的生成过程比较复杂，首先要求出速度变化算出数据集的周期性，将速度变化率和该数据集的周期性写入文占比和预测窗口大小，对其进行分割，最终形成两个预测文件。理结果保存的位置。数据预处理模块界面如图 6.4 所示：

沈阳航空航天大学硕士学位论文3) 数据清洗模块据清洗模块是整个系统的核心模块，该模块中的开始按钮是清洗算法执行清洗算法是连续执行，直到用户点击停止按钮，系统才会停止计算。这个要是为了实现对不断到来的新数据，本系统可以做到自动更新获取，真正计算功能。而且该模块还支持用户设置清洗结果保存路径和保存文件的前据是不断到来的，所以清洗结果也是不断产生的，因此，执行算法每生成文件，系统就会按照用户提供的路径和文件前缀名，对其进行保存。数据如图 6.5 所示：


本文编号：3352894