基于Spark的降雨量预测方法研究与实现

发布时间：2020-08-09 12:20

【摘要】：卫星云图可直观反映各类云系的运动状态,已成为气候及水文预测的重要参考依据。多年来水利行业累积了大量的卫星云图和雨量数据,但通过人工判读的方式效率低,只能定性判断,在决策过程中可信度低。为了解决此问题,本文综合应用Spark大数据技术与图像挖掘技术,通过关联规则分析研究云图与雨量之间的关系,为基于卫星云图的降雨预测提供理论了依据。论文主要研究开发内容如下:(1)构建了云图数据和雨量数据关系模型。基于灰度特征设计了五种与降雨相关的云图特征参数,结合云图特征参数和雨量数据建立多维立方体,并采用聚类技术完成混合数据分区,进而利用关联规则挖掘算法探究云图与雨量之间的关系(2)利用聚类技术实现卫星云图云层分离提取。引入粗聚类Canopy算法对模糊C均值算法进行了改进,研究了Canopy FCM算法。针对局部最优问题,结合最大最小原则,提出了MMCanopy FCM算法。为了支持海量卫星云图的处理,结合Spark编程模型,提出并实现了并行化SP MMCanopy FCM算法。实验结果表明本文方法可有效实现云层分离。(3)基于云图-雨量混合数据集进行关联规则挖掘。结合矩阵特性改进了Apriori算法,提出了基于矩阵压缩的MC_Apriori算法,克服了其产生过多无用候选项集的缺点,提高了内存利用率。为支持海量云图-雨量数据的关联规则挖掘,基于Spark平台对Apriori算法进行了并行优化,提出SP MC Apriori算法。通过实际的云图-雨量混合数据集实验分析表明,本文方法具有较好的准确性和时效性。(4)应用上述理论与方法,基于Spark大数据平台,设计实现了一个降雨量预测原型系统。
【学位授予单位】：西安理工大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP311.13;P457.6
【图文】：

流程图,关联规则挖掘,雨量,云图

所以该方法不能充分利用卫星云图中的有效信本文基于某省水利厅提供的黑河流域的雨量数据、卫关联规则，进而根据卫星云图进行降雨量预测。降雨关系挖掘框架降雨量之间的关系研究过程中，本文将云图数据和雨征卫星云图内容的特征数据，需要应用图像关联规则像数据关联规则分为两种类型：内容的关联规则[23]像关联规则挖掘过程中，以图像内容为基础，发现同图像之间的空间关系。本文不针对该类型问题进行内容和相关描述数据之间的关联规则[23]。和相关描述数据之间的关联规则挖掘过程中，研究的关系。图像描述数据通常为字符类型数据，经过一定的挖掘算法进行处理。云图和雨量关联规则挖掘流

维数,雨量数据,亮温均值,卫星云图

最后只保留陕西省地区的卫星云图，裁减前后测站坐标在卫星云图中的对应关系如下： /1.280 /41X X （2-7） /1.255 /41Y Y （2-8）（2）时间同步方法由于云图和雨量数据的时间粒度不同，采用统计学方法实现时间上的同步，以雨量数据中的时段长度为基准，根据气象专家的建议，计算该时段内的多幅图像的特征参数值，如等效亮温均值、等效亮温均值方差等，利用这些参数实现云图和雨量数据的统一，各个参数物理含义如表 2-4 所示。表 2-4 云图特征参数Tab.2-4 Parameter of Cloud Map Characteristic

云图,雨量,分区数据

度值数据进行分区，该方法完全根据数据自身分布特点决定数据属性值的划分，合并了经验分区的部分区段，然后将聚类分区后的云层特征值分区数据和雨量分区数据的数据集作为挖掘对象，进行云图-雨量关联规则挖掘，这样得到的挖掘结果更具有效性和可理解性。具体的聚类方法在第三章中有讲解。

【相似文献】