气象预报系统中数据处理子系统的研究与实现

发布时间：2020-05-27 21:32

【摘要】：随着气象预报精细化要求的不断提高,气象预报服务制作需要采集的数据量与数据种类也随之增加,而传统气象预报处理方式既不能满足气象预报系统对大数据量的需求,也延缓了气象预报制作的周期,本文针对气象预报系统面临的有关数据处理的难题,提出改进后的气象数据处理方案并随之设计与实现气象预报数据处理子系统,解决气象数据采集、存储和调用的问题,子系统的实现为气象预报系统的研发与运行提供了有力支持。论文的主要工作包括:(1)提出了气象报文自动化解析的优化方案,使用动态文件目录监听与消息队列存储技术解决了传统报文数据采集存在的人工干预过多、效率低下等问题,使用文件内存映射策略与NIO文件流解析技术提高了报文解析程序的处理效率。(2)针对传统省级CIMISS系统有关数据采集存在的数据传输率低、耗时长、不支持大数据量等问题,提出在气象预报制作前预先将气象数据采集到本地关系型数据库的处理思路,加快气象数据的调用。(3)依据气象数据的入库频率,使用MySQL集群存储气象数据,通过MySQL的分表分区功能实现了气象数据的有序管理,加快气象数据的检索速度,通过MySQL的主从复制架构实现数据库中有关数据操作的读写分离,降低气象网站的负载压力。相关数据库的功能设计从数据存储角度提高了子系统的数据处理效率。(4)开发基于NC文件的数据解码程序与基于SSM框架的气象数据调度程序,分别解析非结构化气象数据与结构化气象数据,并完成气象原始数据到气象数据资料的转化,为气象预报系统提供了丰富的气象数据衍生资料。(5)在上述工作的基础上,根据改进后的气象数据处理方案并结合软件设计的基本思想,研发并实现了气象预报数据处理子系统,通过国睿科技有限公司的气象内网对气象数据的采集、数据资料的生成分别进行测试,验证本文提出的技术方案不仅能够高效采集大数据量的气象数据,而且具备将采集到的数据进行快速分析与调用以生成气象数据资料的能力,基本满足了子系统的预期设计需求。
【图文】：

架构图,气象数据,处理系统,架构

图 1-1 AccuWeather 气象数据处理系统架构图AccuWeather 系统架构由数据采集模块、数据预处理模块、数据分类处理模块和数据调用模块组成，其中数据采集模块直接采集各种探测设备的原始数据；数据预处理模块按照气象数据处理规则[9]进行规格化处理；数据分类处理模块将各类数据信息按照功能需求不同进行分类处理并生成不同时效的气象数据；统一应用程序访问接口生成不同格式的气象数据资料，供气象公司采集并制作气象预报业务。AccuWeather 系统不仅从各种探测设备上采集实时观测数据，而且还使用高精度的气象预报模型与气象随机算法，比如 ECMEF、美国的 GFS 气象模型和 CFSv2 气象模型等，旨在提高气象预报的准确率。AccuWeather 系统使用专有的通用预报数据库(UFDB)，可以存储近几十年内的气象数据信息并根据预测模型生成预测结果，系统的预报范围也从美国逐步拓展到全球。AccuWeather 系统实现了数据采集、预处理、计算和发布的一整套的气象数据处理方案，为全美境内的气象公司提供了精确和全面的数据服务，AccuWeather 系统还使用了基于美国和全球范围内的专利技术与数据处理解决方案，，使得系统模块间衔接流畅。

分析图,气象数据,气象,优秀特性

第一章绪论，数据覆盖范围广，满足气象预报制作的基本数据需求。二、支持不同语言和操作的数据采集。包括主流的 Linux 和 Window 操作的各个版本，并提供不同编程语言据调用，包括 C++、C、Python、Fortan 等。三、支持返回多种数据格式，满足调对气象数据的格式需求。省级 CIMISS 系统不仅可以检索出 XML、HTML、JSOXT 等格式文件，还可以根据调用语言的不同直接返回结构体或类。由于省MISS 系统的优秀特性和国家气象数据中心的大力支持，气象公司可以直接从省级MISS 系统直接检索源数据到气象预报系统中，然后使用 B/S 或 C/S 架构完成气象。这种气象数据采集方式具有数据权威性强的优点，采集到的数据可以通过 We直观的展示。图 1-2 是国家气象信息数据共享平台的架构分析图。
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.52

【相似文献】