基于Spark的Canopy-FCM在气象中的应用

发布时间：2024-04-10 00:44

　　随着气象事业现代化水平的不断提高,气象部门积累了海量的气象数据,如何从海量的气象数据中挖掘出有用的知识,是提高气象服务能力的关键所在。针对传统聚类算法无法有效处理海量数据的问题,提出了一种基于Spark框架的Canopy-FCM(Canopy-fuzzy C-means)并行化聚类算法。该算法将Canopy算法与FCM算法相结合,避免了FCM算法对初始聚类中心敏感的问题,并结合Spark分布式框架内存计算的优势,大大降低了海量气象数据的处理时间。通过采用天津市208个区域自动气象站4～10月逐月降水观测数据,评估了天津市不同区域的降水情况。实验结果表明,提出的方法不仅可以快速有效地从气象数据中挖掘出有用的信息,同时与基于Hadoop框架下的算法相比,有更高的运行速率和加速比,也为相关部门有效地做出水旱灾害监测预警与风险防范决策提供了一种全新的思路和方法。

【文章页数】：5 页

【部分图文】：

图1Spark架构

Spark在分布式环境下采用主从结构模型,包括Driver和Worker节点,程序运行之前将数据存储在HadoopDistributedFileSystem(HDFS)中,接着Driver会运行应用中的方法创建SparkContext以及RDD,DAGScheduler对象....

图2基于Spark的Canopy-FCM算法流程

基于Spark的Canopy-FCM算法流程如图2所示。(1)配置好Spark运行环境并初始化各参数。通过hadoopfs-put命令将数据上传到HDFS上,调用SparkContext的sc.textFile()方法将数据转换为Spark-RDD,通过map操作转换为向量缓....

图3天津降水区划图

实验结果如图3所示,由图3可以看出天津208个区域自动气象站降水分布可分为4个区域,1区主要集中在中部和北部区域,共有96个站;2区集中在东部区域,共有29个站;3区集中在东南部,共有31个站;4区主要集中在西南部,共有52个站。图4是实验得到的天津市4个分区降水量年平均分布图,....

图4天津市4个分区降水量年平均分布

图4是实验得到的天津市4个分区降水量年平均分布图,由图4可以看出,4个分区的降水主要集中在6～9月,7月降水量最为显著,其次是8月、6月、9月,这一趋势与中国气象局气象数据中心发布的天津气候类型图(1981-2010)一致。4个分区的具体分析如下:1区主要位于天津中部和北部区域,....

本文编号：3949883