基于协同并行架构的海洋环境数值预报数据处理方法研究

发布时间：2019-11-18 12:33

【摘要】：作为各项海洋活动最基本的保障,海洋环境预报的重要性不言而喻。海洋环境预报技术的完善催生了大量预报数据,针对当前海洋环境数值预报数据存储扩展及处理性能瓶颈、预报信息服务方式单一等方面的局限性,结合云服务和高性能计算的理论及技术分析,本文研究工作旨在建立一体化海洋环境预报信息高效服务体系,用于统一存储与组织异构预报数据,并结合预报的应用需求提供并行化的数据高效计算和处理方法。本文主要研究内容包括以下几个方面：(1)研制支持海洋环境预报数据并行处理的高可扩多层服务池模型。设计多粒度通用服务单元,构建具有高度适用性的多层服务池模型,解决服务方式固定、单一问题,实现多种数据和服务资源的有效整合及灵活扩展,达到服务通用和复用目的,提供开放集成的海洋环境预报信息服务模式。(2)提出基于HDFS和HBase的海洋环境预报数据统一存储与组织方法。设计瓦片金字塔组织模型,实现HBase和HDFS对数值预报数据内容的统一分层分块管理,解决关系型数据库在存储和处理海量异构数据方面的局限性,打通跨数据文件和多数据块的综合应用。(3)设计服务驱动下的海洋环境数值预报数据分级协同并行处理体系。基于统一数据组织方式,融合MapReduce和MATLAB,设计由服务驱动的异构预报数据整合及数据并行处理机制,解决大规模数据处理性能瓶颈,实现分布式环境下预报数据准实时处理及多粒度服务高效调用。(4)构建一体化海洋环境预报信息服务平台。基于多层服务池以及分级协同并行处理体系,构建集异构预报数据分布式存储、并行化处理于一体的海洋环境预报信息服务平台。最后利用网络服务技术、富客户端技术、FSH (Flex+Spring+Hibernate)开发构架,实现多类客户端应用中预报信息服务的按需扩展及快速响应。
【图文】：

面向服务体系结构,可扩展标记语言,支撑技术,基本架构

２００８）。逡逑ＳＯＡ架构（Ａｒｓａｎｊａｎｉ，ｅｔ吐２００７）主要建立在服务提供者、服务注册中瓜、服务逡逑请求者兰类角色的交互操作上，如图２－１所示。服务提供者可发布、删除、更新特定逡逑服务，并确保服务请求的响应；服务注册中冶采用统一服务注册数据库（Ｕｎｉｆｉｅｄ逡逑ＳｅｒｖｉｃｅＲｅｇｉｓｔｒｙＤａｔａｂａｓｅ）将服务的地址、端口、接口描述、服务内容等进行注册和逡逑分类，并支持检索服务；服务请求者可通过查询服务、组合服务，从服务注册中／公处逡逑获得满足指定条件的服务接口和端口地址。逡逑１４逡逑

海洋环境预报,业务部,多层模型,数据后处理

图２－２服务池多层模型体系结构图逡逑在海洋环境预报数据后处理及应用过程中，不同的业务部口和工作人员的业务其复杂程度也不尽相同。基于海洋环境预报服务池多层架构，根据通用性的V幢ㄒ滴窕值讲煌６龋⑿湎笪榛睢⒖衫┱埂⒏吒从玫姆穹绞剑桑捉鲜视Σ煌Ｑ蠡肪吃けㄒ滴窆δ堀霳B及多类型客户端应用。逡逑开放集成的海洋环境预报服务类型逡逑本文设计的海洋环境预报多层服务池模型中，服务单元基本功能类型主要包括境预报数据服务和海洋环境预报业务处理服务。预报数据服务向外部应用系统提存储和数据访问功能接口，且数据服务所支持的预报数提类型多样，可独立不同服务器上。预报业务处理服务向外部应用系统提供预报数据计算及处理等能接口。逡逑
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：P731.3

【相似文献】