海量气象数据实时解析与存储系统的设计与实现

发布时间：2018-03-08 06:32

  本文选题：多维数据　切入点：气象数据　出处：《计算机工程与科学》2015年11期 　论文类型：期刊论文

【摘要】：气象数据是一种典型的非结构化数据,在实际应用中其日增量达数十TB,基于关系数据库和传统文件系统的解析、存储与访问模式已成为制约天气预报系统信息化发展的瓶颈之一。为满足全国天气预报平台MICAPS用户对实时数据的及时、快速查询,介绍了能够7*24小时稳定工作、支撑数十TB/天的数据实时解析系统。根据气象数据的多维模型和用户行为,采用非关系型分布式Key-Value数据库,设计实现了高性能海量数据存储系统。实践证明,数据实时解析系统和基于分布式非关系型KeyValue数据库的存储系统能有效满足海量实时气象数据存储、查询和应用需求。该系统已成为中国天气预报业务流程中的核心系统,体现了优异的功能和性能。
[Abstract]:Meteorological data is a kind of typical unstructured data. In practical application, the daily increment of meteorological data is tens of TBs, which is based on the analysis of relational database and traditional file system. The storage and access mode has become one of the bottlenecks restricting the development of weather forecast system information. In order to satisfy the real-time data query of the MICAPS users of the national weather forecast platform, it is introduced that the system can work steadily 24 hours a day. Based on the multidimensional model and user behavior of meteorological data, a high performance mass data storage system is designed and implemented by using non-relational distributed Key-Value database. The real-time data analysis system and the storage system based on distributed non-relational KeyValue database can effectively meet the requirements of massive real-time meteorological data storage, query and application. The system has become the core system in the business process of weather forecast in China. It embodies excellent function and performance.
【作者单位】： 国家气象中心;清华大学软件学院;
【分类号】：P409;TP333

【参考文献】

相关期刊论文 前3条

1 赵春燕;孙英锐;董峰;刘立明;;高性能气象数据存储集群及在线扩展技术应用[J];计算技术与自动化;2013年03期

2 钟雨;黄向东;刘丹;黄宇霞;田炜;王建民;;大规模装备监测数据的NoSQL存储方案[J];计算机集成制造系统;2013年12期

3 李月安;曹莉;高嵩;罗兵;;MICAPS预报业务平台现状与发展[J];气象;2010年07期

【共引文献】

相关期刊论文 前10条

1 谭燕;王晓峰;王玉彬;万日金;;交互式台风分析和预报系统的建立及其功能介绍[J];大气科学研究与应用;2012年02期

2 姚愚;闫丽萍;常有礼;;调用WinRAR压缩备份Micaps数据文件[J];成都信息工程学院学报;2013年03期

3 吴林林;刘黎平;郑媛媛;安晶晶;纪雷;;基于SWAN的冰雹探测算法研究[J];高原气象;2014年03期

4 赵智鹏;史莲梅;;基于气象培训的MICAPS3.2本地化配置研究[J];电脑知识与技术;2014年20期

5 王海宾;范旭亮;;基于WebGIS技术的精细化格点预报系统设计与实现[J];大气科学研究与应用;2014年02期

6 赵建峰;;精细化气象要素预报用户支持系统(FUSE)研究[J];科技情报开发与经济;2012年04期

7 叶金印;邱旭敏;黄勇;张春莉;;气象遥感图像及格点场重采样插值方法[J];计算机工程与应用;2013年18期

8 张正文;张振涛;;公共气象服务产品制作系统[J];计算机与现代化;2013年11期

9 王怡;凌予杰;原林茹;;地市级集约化气象影视制作平台的研究与应用[J];气象与环境科学;2014年02期

10 于连庆;;基于触控操作方式的大气科学数据可视化系统技术研究与实现[J];南京信息工程大学学报(自然科学版);2014年06期

相关会议论文 前6条

1 夏正龙;刘兵;姚蓉;唐杰;霍林;;湖南省温度降水定量预报系统设计与实现[A];第28届中国气象学会年会——S7城市气象精细预报与服务[C];2011年

2 王志;吴昊;许凤雯;狄靖月;包红军;;水文气象监测预报预警平台的设计与实现[A];S12 水文气象、地质灾害气象预报与服务[C];2012年

3 刘安宁;陈景丽;刘鸿斌;刘杰;;江苏省级MICAPS3.0本地化应用工作介绍[A];第九届长三角气象科技论坛论文集[C];2012年

4 刘安宁;陈景丽;刘鸿斌;刘杰;;江苏省级MICAPS3.0本地化应用工作介绍[A];第八届全国优秀青年气象科技工作者学术研讨会论文汇编[C];2014年

5 冯冼;游枭雄;王旋;李晶;;县级综合气象业务平台设计与实现[A];第八届全国优秀青年气象科技工作者学术研讨会论文汇编[C];2014年

6 刘安宁;李志军;曹璐;;江苏MICAPS本地化和二次开发应用进展[A];第31届中国气象学会年会S13 气象通信与信息技术应用实践与新技术探索[C];2014年

相关博士学位论文 前1条

1 程一帆;中长期军事天气预报业务系统的设计与研发[D];兰州大学;2011年

相关硕士学位论文 前6条

1 李振海;市级人工影响天气作业指挥系统设计与实现[D];电子科技大学;2011年

2 黄晓龙;土壤湿度同化数据综合分析处理系统的研制与开发[D];南京信息工程大学;2012年

3 崔杨;基于Flex的气象信息发布平台关键技术研究与实现[D];南京信息工程大学;2013年

4 穆望舒;海洋数值预报产品综合处理平台开发研究[D];华东师范大学;2014年

5 杨桂菊;GIS中气象数据引擎的设计与实现[D];广西师范学院;2014年

6 王建辉;基于HBase跨行事务系统的设计与实现[D];北京工业大学;2014年

【二级参考文献】

相关期刊论文 前10条

1 张德;朱蓉;罗勇;俞卫;王澄海;;风能模拟系统WEST在中国风能数值模拟中的应用[J];高原气象;2008年01期

2 朱蓉;何晓凤;周荣卫;程兴宏;赵东;;区域风能资源的数值模拟评估方法[J];风能;2010年04期

3 王英;赵建民;陈慧;彭丽娜;;内蒙古风能资源数据库共享服务系统[J];电子设计工程;2012年17期

4 艾艳;胡英媚;王甫棣;王敏;霍锐;;风能资源观测数据省级传输系统[J];气象与环境科学;2010年04期

5 范中磊;;网络存储技术漫谈之三:集群存储[J];记录媒体技术;2010年03期

6 张媛;卢泽新;刘亚萍;;NFS over Lustre性能评测与分析[J];计算机工程;2007年10期

7 杨发毅;李东升;;典型商用并行文件系统分析[J];计算机与现代化;2006年05期

8 杨昕;;GPFS文件系统原理和模式IO优化方法[J];气象科技;2006年S1期

9 郑永光,王洪庆,陶祖钰,陈敏;Windows下二维气象绘图软件——客观分析诊断图形系统[J];气象;2002年03期

10 刘淑媛,孙健,郭卫东,陶祖钰,王洪庆;多普勒雷达数据处理显示系统[J];气象;2004年07期

【相似文献】

相关期刊论文 前10条

1 李建;马琰钢;;浙江省“智慧高速”气象数据交互网络设计与实现[J];浙江气象;2013年03期

2 宁世远;;PC-1500袖珍机处理大量气象信息的方法[J];新疆气象;1989年12期

3 王元;王录中;;信息化气象数据存档后备和服务后援磁性载体配置的优化设计[J];气象科技;1991年06期

4 李社宏;;大数据时代气象数据分析应用的新趋势[J];陕西气象;2014年02期

5 李树忠,王春芳,张振;自动气象数据采集站组态软件设计[J];青岛大学学报(工程技术版);1998年02期

6 王宇欣,白敬儒;辽宁地面有线综合遥测实时气象数据显示平台[J];辽宁气象;2002年02期

7 龙思朝;;气象数据在雷电风险评估中的应用[J];贵州气象;2011年02期

8 F.Cerquetti;章育仲;;气象数据的采集、检验及管理[J];气象科技;1989年06期

9 黄业斐;严玲;;气象数据应急传输解决方法初探[J];气象研究与应用;2009年S1期

10 田云臣;;“病虫害预测系统”的设计与开发[J];天津科技;2009年01期

相关会议论文 前10条

1 张宇鹏;王丽珍;周丽华;;基于气象数据的关联规则挖掘[A];第十七届全国数据库学术会议论文集（研究报告篇）[C];2000年

2 黄涛;郑晓栋;;气象数据中心设计与应用[A];第31届中国气象学会年会S13 气象通信与信息技术应用实践与新技术探索[C];2014年

3 黄业斐;严玲;;气象数据应急传输解决方法初探[A];2008年广西气象学会学术年会论文集[C];2008年

4 郑永光;陈炯;王洪庆;张焱;陈敏;白洁;朱佩君;陶祖钰;;一个气象数据分析绘图软件的设计、开发及应用[A];推进气象科技创新加快气象事业发展——中国气象学会2004年年会论文集（下册）[C];2004年

5 杨柳;林才;林海燕;刘加平;;我国典型气象年的生成方法及其原始气象数据质量处理分析[A];全国建筑节能技术与设计学术会议论文集[C];2005年

6 王新堂;张国平;李芸;曲军;;山东省气象数据资源收集工作探讨[A];山东气象学会2005年学术交流会优秀论文集[C];2005年

7 高亢;秦岩松;纪俊云;;CMACast气象数据文件收发效果分析[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年

8 王甫棣;姚燕;李湘;;基于XML的气象数据订阅系统设计[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年

9 韩海涛;李仲龙;;地面实时气象数据质量控制方法研究进展[A];第31届中国气象学会年会S13 气象通信与信息技术应用实践与新技术探索[C];2014年

10 林奕峰;滕少华;陈潇;林蟒;成明;;基于KNN的多组合器协同挖掘区域自动站气象数据[A];第31届中国气象学会年会S13 气象通信与信息技术应用实践与新技术探索[C];2014年

相关重要报纸文章 前10条

1 李晔;气象数据资源将有管理办法[N];中国气象报;2003年

2 王长城;新一代气象数据卫星广播系统落户我州[N];甘孜日报(汉文);2011年

3 通讯员 王国复　高峰;气象空间信息库助力国家电子政务[N];中国气象报;2012年

4 记者 谢庆裕;加强气象数据信息转化应用[N];南方日报;2013年

5 华创;华创推出气象数据信息显示屏[N];中国气象报;2004年

6 记者 尕玛多吉 叶辉;我区年内将实现高原气象数据采集自动化[N];西藏日报;2004年

7 马旭清 任桂林;搭建共享平台 我省气象信息实现整合[N];黑龙江经济报;2007年

8 Kim S.Nash;天气中的大数据[N];计算机世界;2013年

9 记者 穆巍;冬季旅游提前一月升温[N];哈尔滨日报;2008年

10 记者 谢忠军;收集南海气象数据[N];中国气象报;2012年

相关博士学位论文 前2条

1 徐江斌;基于气象数据的云景真实感模拟技术研究[D];国防科学技术大学;2010年

2 高飞;基于气象数据分析的地域化运气模型修正体系[D];广州中医药大学;2015年

相关硕士学位论文 前10条

1 郭萌;气象数据转换系统的设计与实现[D];东北大学　;2009年

2 陈文慧;大规模气象数据布局的自适应性研究[D];东北大学;2012年

3 赵方霞;基于气象数据的数据挖掘算法研究[D];北方工业大学;2011年

4 郭旭;气象数据管理与预报系统的设计与实现[D];东北大学;2008年

5 李全月;气象数据网络化集成管理系统的设计[D];南京信息工程大学;2014年

6 包胡萍;气象自动站数据查询填图系统的设计实现[D];电子科技大学;2012年

7 邵戎;web构架的气象信息共享平台的设计与实现[D];电子科技大学;2009年

8 周晓倩;基于GPRS的农田气象数据监测系统研究[D];西北农林科技大学;2014年

9 秦明俊;气象信息综合管理系统的设计与实现[D];电子科技大学;2011年

10 李太勇;空管系统中气象数据处理的研究和应用[D];四川大学;2004年

，

本文编号：1582804