基于HBase的气象地面分钟数据分布式存储系统

发布时间：2017-10-22 17:32

  本文关键词：基于HBase的气象地面分钟数据分布式存储系统

  更多相关文章： 分钟数据 分布式存储 Hadoop solr HBase 辅助索引

【摘要】：针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。
【作者单位】： 国家气象信息中心系统工程室;
【关键词】： 分钟数据 分布式存储 Hadoop solr HBase 辅助索引
【基金】：国家气象信息中心青年科技基金资助项目(NMICQJ201310)
【分类号】：TP333;TP311.13
【正文快照】： 0引言互联网技术的飞速发展带来了数据的指数级增长,在气象、遥感、地质灾害监测等特殊行业,传统技术已经无法按照业务效率要求去实时、安全、可靠、高效地处理海量数据。气象自动站地面分钟全要素文件保存了现有所有地面自动观测要素(辐射除外)的分钟数据,也是目前自动站各数

【相似文献】

中国期刊全文数据库 前10条

1 孟庆伟;;云计算技术及其电信应用[J];电信快报;2010年07期

2 卢益阳;;分布式存储系统调查[J];企业科技与发展;2011年16期

3 王大涛;姜月秋;;一种适用于集群的高可用存储模型的研究[J];沈阳理工大学学报;2007年02期

4 邢继元;张义德;;计算机存储技术的发展现状和趋势[J];科协论坛(下半月);2008年02期

5 张天祥;潘峰;杨晓元;刘镇;张薇;;改进的LPCA算法[J];计算机工程与应用;2010年09期

6 陈卫卫;吴海佳;胥光辉;;分布式存储中文件分割的最优化模型[J];解放军理工大学学报(自然科学版);2010年04期

7 王文奎;吴国新;;一种对等式存储系统的设计与实现[J];计算机技术与发展;2008年04期

8 马军;郑p，

本文编号：1079390