基于数据挖掘的气象观测数据质量控制算法研究
发布时间：2020-06-17 05:48
【摘要】：近年来,随着气象自动观测站在全国范围广泛建立,气象观测数据的数据量呈指数级增长。气象观测数据质量的好坏直接影响到天气预报以及气候预测的准确性。传统质控算法利用历史资料的气候学界限值及要素允许值进行检查,对要素异常变化缺乏灵敏性,已不能满足质量控制工作的需要。数据挖掘方法是近年来出现的比较火热的大数据分析方法,在气象中的应用逐渐丰富,比如应用于天气预报以及气候预测,但是在气象观测数据质量控制方面却少有相关研究。本文详细介绍了一种基于数据挖掘的气象数据质量控制方案。从同一观测要素在不同时间观测值之间的相关性(时间相关),以及同一观测时间内不同观测要素之间的相关性(要素相关)两方面出发,结合数据挖掘中的相关算法,提出了两种不同的气象观测数据质量控制方法,并结合两种方法之间的互补性和关联性,建立一套综合质控方案。本文的核心内容包括三点。(1)根据各气象观测要素随时间变化具有混沌性(潜在趋势性和规律性)的特点,提出了一种时间相关的气象观测数据质量控制方法。首先分析各要素的观测序列在每小时级观测尺度下的混沌特性,接着根据相空间重构理论对气象要素观测序列进行相空间重构。由于重构后的气象要素数据序列具有高维非线性的特点,结合SVM算法的优点,利用内积核函数将复杂的非线性问题映射到高维空间变成线性问题,建立一种基于支持向量机的混沌气象要素时间序列预估模型。针对模型中核函数的选取,使用混合核函数,并采取改进的粒子群算法对模型中的参数进行自适应的学习和确定,提高模型对气象要素的预估精度。根据实际观测值与估计值的差异,评估实际观测值中的异常数据。实验证明本文提出的方法对异常气象观测数据的质控灵敏度较高,适用于检测出气象观测数据的异常值。(2)由大气物理的变化机理和专业的气象知识,可以确认某些气象要素之间存在相关性,根据不同要素之间彼此相关的特点,提出了一种要素相关的气象观测数据质量控制方法。该方法利用BP神经网络强大的非线性映射功能,以某一要素相关的其他要素作为输入,该要素作为输出,建立起基于多要素的BP神经网络气象观测数据预估模型。采用灰色关联分析法对输入要素进行筛选,去除输入要素中具有强耦合性的要素,剩余要素再与输出要素进行关联度分析,除去关联度较小的要素,通过合理的筛选输入要素,从而提高模型的预估精度。根据实际观测值与估计值的差异,评估实际观测值中的异常数据。实验证明本文提出的方法对异常数据的质控灵敏度相对较高。(3)根据两种方法之间的互补性和关联性,建立综合质控方案,实现最终的综合判定。选取华东地区某站点从2009年到2013年的每小时数据集作为质控对象,实验结果表明本文提出的方案能够有效地对气象观测数据进行缺测值拟合及异常值检测。本文提出了基于数据挖掘的气象观测数据质控方案,将数据挖掘算法引入气象观测数据质控中,丰富了气象质控手段。其检出的异常数据可以为相关专家进行人工评判提供依据和支持。传统质控方法的质控范围较宽,已不能满足现阶段的质控需要,本文研究的气象数据质控方案为寻找气象数据质控新方法提供了一些思路和有益的尝试。
【学位授予单位】：南京信息工程大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：P413;TP311.13
【图文】：
图３－１邋ＳＶＭ搜索最大边缘超平面逡逑形式化方式具体描述如下：假定给定训练样本集片１，义），（NB２，７２），．．．（而，＞０，其中逡逑义１，１。，．．．１。是《个训练样本知托，．．一。是样本的类标号。定义一个分类平面方程知逡逑豕．ｘ邋＋邋６邋＝邋０。对于线性可分的训练集，可能存在多个分类平面将两类数据正确分逡逑
样本量逡逑图５－５基于时间相关的质控结果图逡逑从图５－５中可Ｗ看出，估计值曲线基本与未植入误差的实际值曲线基本拟合，逡逑植入误差１０‘Ｃ，Ｗ规则｜；ＴｓＡｇｓ－ｒｔｅｖｔ｜＞７．５‘Ｃ，可レッ将所有错误数据全部检测出来，逡逑质控精度较高，基于时间相关的质控规则和基于要素相关的质控规则推导方式相同，逡逑在此不重复阐述。逡逑在５００条气n葜兴婊粞。保埃疤跏莘直鹗侄踩胛蟛钋桑叮荆矗场茫状冲义现士胤椒ê捅疚奶岢龅幕谝叵喙睾突谑奔湎喙氐闹士厮惴ń写砦笫菁戾义喜狻Ｆ渲惺奔湟恢滦约觳檠∪〉氖牵毙∈笔北浼觳椋觳饨峁缦卤硭荆礤义险氛页龅拇砦笫菡页隼吹母鍪剩郑淮砦蠼肥萸晌砦笫莸母鍪ｅ义希叮插义
本文编号：2717167
【学位授予单位】：南京信息工程大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：P413;TP311.13
【图文】：
图３－１邋ＳＶＭ搜索最大边缘超平面逡逑形式化方式具体描述如下：假定给定训练样本集片１，义），（NB２，７２），．．．（而，＞０，其中逡逑义１，１。，．．．１。是《个训练样本知托，．．一。是样本的类标号。定义一个分类平面方程知逡逑豕．ｘ邋＋邋６邋＝邋０。对于线性可分的训练集，可能存在多个分类平面将两类数据正确分逡逑
样本量逡逑图５－５基于时间相关的质控结果图逡逑从图５－５中可Ｗ看出，估计值曲线基本与未植入误差的实际值曲线基本拟合，逡逑植入误差１０‘Ｃ，Ｗ规则｜；ＴｓＡｇｓ－ｒｔｅｖｔ｜＞７．５‘Ｃ，可レッ将所有错误数据全部检测出来，逡逑质控精度较高，基于时间相关的质控规则和基于要素相关的质控规则推导方式相同，逡逑在此不重复阐述。逡逑在５００条气n葜兴婊粞。保埃疤跏莘直鹗侄踩胛蟛钋桑叮荆矗场茫状冲义现士胤椒ê捅疚奶岢龅幕谝叵喙睾突谑奔湎喙氐闹士厮惴ń写砦笫菁戾义喜狻Ｆ渲惺奔湟恢滦约觳檠∪〉氖牵毙∈笔北浼觳椋觳饨峁缦卤硭荆礤义险氛页龅拇砦笫菡页隼吹母鍪剩郑淮砦蠼肥萸晌砦笫莸母鍪ｅ义希叮插义
本文编号：2717167
本文链接：https://www.wllwen.com/projectlw/qxxlw/2717167.html
