基于分布式技术的气象预报业务系统的设计与实现
发布时间：2020-08-02 15:54
【摘要】：随着社会的进步与发展,气象预报对人们生产、生活的影响越来越大,人们对气象预报的要求也越来越高。以前,采集的气象数据量较少且数据精度不高,气象预报系统采用单一的数据库和服务器,而且没有指导预报数据;气象预报员主要根据自己的主观经验来制作小范围的气象预报,气象预报的准确率和制作效率较低。随着气象科学、雷达卫星事业的飞速发展,气象预报理论研究更趋于理论化和规范化,数据采集设备更加的精确化和多样化。为了更加理论化和规范化的制作气象预报,完善气象数据存储管理,提高预报制作效率并简化制作流程,进行气象预报业务系统的开发。国内外进行气象预报制作的方法有很多,当今比较流行方法的是格点化全范围覆盖预报。本系统应用此方法来实现区域全范围定点定时预报。本系统气象预报过程如下:首先,通过FTP客户端定时请求自动站的原始报文站点数据和指导预报数据;然后,将站点数据运用插值算法转换为二维格点数据,并通过Gis技术将格点数据展示在地图中;然后,预报员以展示的站点数据为参考,运用格点制作工具订正预报指导数据,进行气象预报格点制作,制作过程中借助格点协同方案来简化制作流程;最后,以制作的格点数据为基础,根据服务需求和服务制作规则来制作不同的服务。本系统根据上述气象预报过程进行系统的设计与开发。系统根据功能需求分为四大模块,综合分析,预报制作,服务制作,预报检验。本文主要工作如下:1)研究了气象预报系统开发所需的相关技术,包括分布式系统搭建,Java线程池,Mod_jk中间件,Memcache技术,MyCat技术,系统业务相关技术等。2)运用以上技术搭建了分布式系统框架,借助Modjk和MyCat中间件来搭建系统开发所需的分布式服务器集群,并借助Memcache来优化系统性能。3)根据系统需求设计了系统整体功能模块,包括综合分析,预报制作,服务制作和预报检验四大模块。根据具体的业务需求进行每个模块的详细设计与实现,其中综合分析包括天气实况和数值预报,预报制作根据格点预报制作流程进行开发,其间借助空间和时间协同算法来提高制作效率,服务制作以预报制作的格点数据为基础并根据天气现象规则进行服务制作,预报检验根据区域、要素、检验规则来分类检验历史预报数据。4)设计和实现了系统气象数据管理功能模块,包括气象数据收集(一种是FTP请求报文数据,一种是HTTP请求CIMISS数据)、归一化处理(将报文数据和中间数据转换为特定气象格式的文件,.nc格点文件或.mic气象文件)等设计与实现。
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：P45;TP311.52
【图文】：
东南大学硕士学位论文逡逑对被执行任务透明，线程池工作方式如图２－２所示。逡逑Ｔａｓｋ邋Ｑｕｅｕｅ逡逑—？0逦逡逑Ｔ＝ｄ邋回回回回回回逡逑Ｃｏｍｐｌｅｔｅｄ邋Ｔａｓｋｓ逡逑ｃ（（（（（（（（（（（（）邋＾逦逡逑图２－２线程池工作图逡逑２．２．２邋Ｍｏｄｊｋ邋中间件逡逑系统采用分布式服务器集群，管理集群需要借助负载均衡，本系统通过Ｍｏｄｊｋ中间件实现负载逡逑均衡。Ｍｏｄｊｋ也叫ＪＫ，是一款Ａｐａｃｈｅ／ＩＩＳ用来连接后台Ｔｏｍｃａｔ的模块，支持集群和负载均衡。逡逑通过Ｍｏｄｊｋ的配置文件配置各Ｔｏｍｃａｔ的权重来设置每个服务器的任务量比例，从而实现负载均衡。逡逑Ｍｏｄｊｋ是一个比较针对Ｔｏｍｃａｔ集群的中间件，因为Ｔｏｍｃａｔ的ＨＴＴＰ处理部分都由Ｊａｖａ编写逡逑（５．５．１２版本以后出现了邋ｎａｔｉｖｅ库，用以提高其Ｉ／Ｏ和ＳＳＬ的性能）。因为Ａｐａｃｈｅ对于静态文件的逡逑处理能力比Ｔｏｍｃａｔ强，所以Ｔｏｍｃａｔ开发组开发了一套与Ａｐａｃｈｅ结合使用的模块一Ｍｏｄｊｋ中间件。逡逑通过Ａｐａｃｈｅ作为请求代理，把ＨＴＴＰ协议的请求转化为ＡＪＰ协议包，并发送到后端的Ｔｏｍｃａｔ服务逡逑器进行处理。Ｍｏｄｊｋ和Ａｐａｃｈｅ现在通常使用ＡＪＰ协议
ＭｙＣａｔ的主要特点是它介于数据库和业务应用之间，是进行数据处理和交互的中间服务，可以逡逑实现对多个分片所得的数据库进行管理，数据来源可以多样化，但对于应用系统来说呈现的仍然只逡逑有一个数据库。ＭｙＣａｔ交互机制如图２－３所示。逡逑（邋主机＊１逦）逦（邋主机２邋Ｊ逦（邋主机３邋Ｊ逡逑图２－３邋ＭｙＣａｔ中间件逡逑ＭｙＣａｔ是用来连接数据库服务器的中间件，通过此中间件可以实现分库分表和读写分离，比较逡逑适用于气象业务系统中单表数据量较大的情况，例如，将气象降水分钟表数据按月存放在多张表中，逡逑通过中间件，在应用层操作中使用的是一张逻辑数据表，实际查询的是数据库中的多少张表。逡逑２．３系统业务相关技术逡逑为了提高预报员进行气象预报格点制作的效率，系统采用协同算法来优化制作过程。气象预报逡逑系统对天气要素采用空间协同和时间协同算法。采用空间协同算法能够实现地理位置的格点化全范逡逑围覆盖，提高预报精度；时间协同算法有利于提高气象预报制作的效率。逡逑１）
东南大学硕士学位论文逡逑史气象数据。历史库通过Ｘｔｒａｂａｃｋｕｐ工具接收实时库传输过来的数据，并将数据一直保留在库中。逡逑数据库管理结构如图４－１２所示。逡逑报文数据／Ｃｉｍｉｓｓ逡逑数据逡逑Ｉ逡逑解析入库逡逑ｉｒ逦邋逦逡逑实时数据库逦＾—g蜗低骋滴皴义鲜莞粗棋伪荆掊义襄危掊五錱义侠肥菘忮澹煎五义贤迹矗保彩菘夤芾斫峁瑰义掀渲校凳笔菘馐谴娲⑹凳苯邮盏钠笫荩饕墙笫萁馕鋈肟猓菘饨馕龅鞫儒义现饕墓ぷ魅挝袢缦拢
本文编号：2778736
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：P45;TP311.52
【图文】：
东南大学硕士学位论文逡逑对被执行任务透明，线程池工作方式如图２－２所示。逡逑Ｔａｓｋ邋Ｑｕｅｕｅ逡逑—？0逦逡逑Ｔ＝ｄ邋回回回回回回逡逑Ｃｏｍｐｌｅｔｅｄ邋Ｔａｓｋｓ逡逑ｃ（（（（（（（（（（（（）邋＾逦逡逑图２－２线程池工作图逡逑２．２．２邋Ｍｏｄｊｋ邋中间件逡逑系统采用分布式服务器集群，管理集群需要借助负载均衡，本系统通过Ｍｏｄｊｋ中间件实现负载逡逑均衡。Ｍｏｄｊｋ也叫ＪＫ，是一款Ａｐａｃｈｅ／ＩＩＳ用来连接后台Ｔｏｍｃａｔ的模块，支持集群和负载均衡。逡逑通过Ｍｏｄｊｋ的配置文件配置各Ｔｏｍｃａｔ的权重来设置每个服务器的任务量比例，从而实现负载均衡。逡逑Ｍｏｄｊｋ是一个比较针对Ｔｏｍｃａｔ集群的中间件，因为Ｔｏｍｃａｔ的ＨＴＴＰ处理部分都由Ｊａｖａ编写逡逑（５．５．１２版本以后出现了邋ｎａｔｉｖｅ库，用以提高其Ｉ／Ｏ和ＳＳＬ的性能）。因为Ａｐａｃｈｅ对于静态文件的逡逑处理能力比Ｔｏｍｃａｔ强，所以Ｔｏｍｃａｔ开发组开发了一套与Ａｐａｃｈｅ结合使用的模块一Ｍｏｄｊｋ中间件。逡逑通过Ａｐａｃｈｅ作为请求代理，把ＨＴＴＰ协议的请求转化为ＡＪＰ协议包，并发送到后端的Ｔｏｍｃａｔ服务逡逑器进行处理。Ｍｏｄｊｋ和Ａｐａｃｈｅ现在通常使用ＡＪＰ协议
ＭｙＣａｔ的主要特点是它介于数据库和业务应用之间，是进行数据处理和交互的中间服务，可以逡逑实现对多个分片所得的数据库进行管理，数据来源可以多样化，但对于应用系统来说呈现的仍然只逡逑有一个数据库。ＭｙＣａｔ交互机制如图２－３所示。逡逑（邋主机＊１逦）逦（邋主机２邋Ｊ逦（邋主机３邋Ｊ逡逑图２－３邋ＭｙＣａｔ中间件逡逑ＭｙＣａｔ是用来连接数据库服务器的中间件，通过此中间件可以实现分库分表和读写分离，比较逡逑适用于气象业务系统中单表数据量较大的情况，例如，将气象降水分钟表数据按月存放在多张表中，逡逑通过中间件，在应用层操作中使用的是一张逻辑数据表，实际查询的是数据库中的多少张表。逡逑２．３系统业务相关技术逡逑为了提高预报员进行气象预报格点制作的效率，系统采用协同算法来优化制作过程。气象预报逡逑系统对天气要素采用空间协同和时间协同算法。采用空间协同算法能够实现地理位置的格点化全范逡逑围覆盖，提高预报精度；时间协同算法有利于提高气象预报制作的效率。逡逑１）
东南大学硕士学位论文逡逑史气象数据。历史库通过Ｘｔｒａｂａｃｋｕｐ工具接收实时库传输过来的数据，并将数据一直保留在库中。逡逑数据库管理结构如图４－１２所示。逡逑报文数据／Ｃｉｍｉｓｓ逡逑数据逡逑Ｉ逡逑解析入库逡逑ｉｒ逦邋逦逡逑实时数据库逦＾—g蜗低骋滴皴义鲜莞粗棋伪荆掊义襄危掊五錱义侠肥菘忮澹煎五义贤迹矗保彩菘夤芾斫峁瑰义掀渲校凳笔菘馐谴娲⑹凳苯邮盏钠笫荩饕墙笫萁馕鋈肟猓菘饨馕龅鞫儒义现饕墓ぷ魅挝袢缦拢
本文编号：2778736
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2778736.html
