数据挖掘在昆明气象数据分析中的应用
发布时间：2020-05-26 09:49
【摘要】：过去几十年,气象部门积累了大量的气象资料,然而面对如此庞大的数据资料,如何有效地利用这些数据是该领域的工作者面临的一个难题。显然,用人工的方法几乎不可能处理这样大规模的数据,而借助计算机的帮助,我们可以利用数据挖掘技术来挖掘出有价值的信息。 本文首先对数据进行了预处理,包括异常值、缺失值的分析和处理,还将数据按月汇总,并对月均数据进行了探索性分析的尝试,以期发现主要指标的变化规律。然后采用决策树中的CART算法对月平均气温为连续型的数据集进行预测和验证,同时还对等宽分箱法和K-means聚类离散化月平均气温的方法分别用CART算法和C5.0算法做了预测和比较分析,发现经K-means离散化后的C5.0算法的准确率较高,在训练集上达到97.49%,在验证集上达到91.67%。 其次,还用了两种神经网络(分别是MLP神经网络和RBF神经网络)模型对两种离散化月平均气温的方法都做了预测,发现MLP要好于RBF,训练集上准确率达到98.47%,验证集上高达100%,除此之外,还将决策树模型与MLP神经网络模型在连续型目标变量的基础上进行了预测并作了对比分析,发现MLP在各方面的指标都要优于CART决策树,如绝对平均误差、最小误差、标准差、误差平方和等等。说明了神经网络在预测连续型目标变量和离散型目标变量的可行性和有效性,特别是MLP神经网络,在对气温预测时,准确率更高。
【图文】：
、 4."图2-1数据挖掘的主要过程简单流程图. (1)数据准备：主要包括业务问题的定义、数据的搜集，了解数据的一些背景知识，，为后面数据的预处理做准备；(2)预处理：数据的预处理主要包括数据类型的转换、噪声数据及缺失数据的处理、数据降维，连续属性的离散化等等，为后面的数据挖掘做好准备工作；(3)模型设计：这个阶段主要是对下一步的数据挖掘算法建立模型，模型的建立要结合业务背景、实用性、效率等多个方面来进行；(4)数据挖掘：这个是知识发现的一个重要步骤，利用算法和建立出来的模型，发现或者提取信息（知识）的特征或者模式；(5)模式评估：为了对得到较好的特征或模式，就需要对其进行评价，即有一定的评估标准对模式进行蹄选。4
首先将剩余的10个字段中的6个日均指标按月汇总，再按年汇总，以下分别是1951-2013年均气温（O.rC)的趋势图（如图3-1)，195丨-2013年20-20时平均降水量趋势图（如图3-2)。170 165 fTTrfrfb；! ；fxTFN力 ^ ... ‘ 、150 ——一7f 7 严、""""J14S Z_ 140 ^ —135 . : ■ i :…i ? . .-.....i.…：；：！ 1...:....1...- :..:..1 .i -..1.. .:.....: : 1.. : :. : : : : ; i ::： ！^mLnr^a^^mi.nrvcr?rHroLnr^o^rHrotnr>.CT>*HmLnr^a^T-jmu^r^cn*HoouoLnLnLnLni?D^^i^ov￡>p^r^r^rvrvoooocooooocDcn<Ti0^o^ooooo*-HTHT—I tH *—I *H *—1 tH *H *H rH t-S tH *H rH rH rH rH *—I *-H rH I tH tH (N (N CN CvJ fN fN年均气温(0.1摄氏度）图3-1昆明市1951-2(U3年平均气温趋势图图3-1反映了昆明市从195]年有气象记录以来昆明每年的平均气温的变化情况，从1991年以后年均气温有很明显的上升趋势，1992年至今的年均气温基本维持在15r以上，这与全球的气温逐步升高的趋势是一致的，气温的快速升高会给大自然无法计量的危害，这在一定程度上警示着我们人类在经济发展的同时不能以牺牲气候为代价
【学位授予单位】：云南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：P413;TP311.13
本文编号：2681660
【图文】：
、 4."图2-1数据挖掘的主要过程简单流程图. (1)数据准备：主要包括业务问题的定义、数据的搜集，了解数据的一些背景知识，，为后面数据的预处理做准备；(2)预处理：数据的预处理主要包括数据类型的转换、噪声数据及缺失数据的处理、数据降维，连续属性的离散化等等，为后面的数据挖掘做好准备工作；(3)模型设计：这个阶段主要是对下一步的数据挖掘算法建立模型，模型的建立要结合业务背景、实用性、效率等多个方面来进行；(4)数据挖掘：这个是知识发现的一个重要步骤，利用算法和建立出来的模型，发现或者提取信息（知识）的特征或者模式；(5)模式评估：为了对得到较好的特征或模式，就需要对其进行评价，即有一定的评估标准对模式进行蹄选。4
首先将剩余的10个字段中的6个日均指标按月汇总，再按年汇总，以下分别是1951-2013年均气温（O.rC)的趋势图（如图3-1)，195丨-2013年20-20时平均降水量趋势图（如图3-2)。170 165 fTTrfrfb；! ；fxTFN力 ^ ... ‘ 、150 ——一7f 7 严、""""J14S Z_ 140 ^ —135 . : ■ i :…i ? . .-.....i.…：；：！ 1...:....1...- :..:..1 .i -..1.. .:.....: : 1.. : :. : : : : ; i ::： ！^mLnr^a^^mi.nrvcr?rHroLnr^o^rHrotnr>.CT>*HmLnr^a^T-jmu^r^cn*HoouoLnLnLnLni?D^^i^ov￡>p^r^r^rvrvoooocooooocDcn<Ti0^o^ooooo*-HTHT—I tH *—I *H *—1 tH *H *H rH t-S tH *H rH rH rH rH *—I *-H rH I tH tH (N (N CN CvJ fN fN年均气温(0.1摄氏度）图3-1昆明市1951-2(U3年平均气温趋势图图3-1反映了昆明市从195]年有气象记录以来昆明每年的平均气温的变化情况，从1991年以后年均气温有很明显的上升趋势，1992年至今的年均气温基本维持在15r以上，这与全球的气温逐步升高的趋势是一致的，气温的快速升高会给大自然无法计量的危害，这在一定程度上警示着我们人类在经济发展的同时不能以牺牲气候为代价
【学位授予单位】：云南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：P413;TP311.13
【参考文献】
中国期刊全文数据库 前4条
1 王立伟;;数据挖掘研究现状综述[J];图书与情报;2008年05期
2 孔锐,张国宣,施泽生,郭立;基于核的K-均值聚类[J];计算机工程;2004年11期
3 杨天霞;王治和;王华;王凌云;;聚类初始中心点选取研究[J];南京师大学报(自然科学版);2010年04期
4 谢炯光,曾琮,纪忠萍;中国近30年来气象统计预报进展[J];气象科技;2003年02期
本文编号：2681660
本文链接：https://www.wllwen.com/projectlw/qxxlw/2681660.html
