基于气象应用的私有云存储方案

发布时间：2018-08-24 11:56

【摘要】：为解决气象观察数据的频繁写入和大数据存储的问题,设计私有云存储模型。该模型分为用户访问接口层、元数据存储层、实体数据存储层和关系数据库4层结构。采用HDFS集群分布式文件系统,实现气象大数据的存储和高效查询与搜索业务;使用关系数据库系统,实现数据采集端频繁数据写入的业务。实验结果表明,该平台实现了海量气象数据存储、查询统计和属性管理,克服了云存储单条插入效率低的缺点,较好满足了气象部门大数据存储和管理的需求。
[Abstract]:In order to solve the problem of frequent writing of meteorological observation data and big data storage, a private cloud storage model was designed. The model is divided into four layers: user access interface layer, metadata storage layer, entity data storage layer and relational database. The HDFS cluster distributed file system is used to realize the storage and efficient query and search of meteorological big data, and the relational database system is used to realize the business of frequent data writing at the data collection end. The experimental results show that the platform realizes massive meteorological data storage, query statistics and attribute management, overcomes the low efficiency of cloud storage single insert, and meets the requirement of big data storage and management in meteorological department.
【作者单位】： 内蒙古工业大学信息工程学院;
【基金】：内蒙古自然科学基金项目(2010MS0913) 内蒙古自治区高等学校科学研究基金项目(NJZY12052) 内蒙古工业大学重点基金项目(ZD201118)
【分类号】：TP333

【参考文献】

相关期刊论文 前10条

1 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期

2 张迪;朱立谷;侯振宇;张福;曾赛峰;;基于WEB的移动端云存储技术研究[J];计算机工程与应用;2010年36期

3 李超;张明博;邢春晓;胡劲松;;列存储数据库关键技术综述[J];计算机科学;2010年12期

4 张建勋;古志民;郑超;;云计算研究进展综述[J];计算机应用研究;2010年02期

5 杨志豪;赵太银;姚兴苗;李磊;;一种适应数据与计算密集型任务的私有云系统实现研究[J];计算机应用研究;2011年02期

6 刘金芝;余丹;朱率率;;一种新的云存储服务模型研究[J];计算机应用研究;2011年05期

7 张春明;芮建武;何婷婷;;一种Hadoop小文件存储和读取的方法[J];计算机应用与软件;2012年11期

8 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

9 沈文海;;从云计算看气象部门未来的信息化趋势[J];气象科技进展;2012年02期

10 窦以文;卢俐;刘旭林;张代萍;;气象数据存贮管理系统[J];计算机系统应用;2011年07期

【共引文献】

相关期刊论文 前10条

1 魏东泽;来学嘉;;一种安全的高可靠性P2P云存储备份模型初探参考文献[J];信息安全与技术;2011年09期

2 王继鹏;;高等教育云计算服务平台构建策略初探[J];安阳师范学院学报;2011年05期

3 刘真;刘峰;张宝鹏;马飞;高石玉;;云计算模型在铁路大规模数据处理中的应用[J];北京交通大学学报;2010年05期

4 魏翔;陈俊侃;;浅谈GIS的应用与发展[J];北京测绘;2011年02期

5 徐小龙;程春玲;熊婧夷;王汝传;;一种基于移动Agent的云端计算任务安全分割与分配算法[J];北京理工大学学报;2011年08期

6 李建卓;;云计算及其发展综述[J];宝鸡文理学院学报(自然科学版);2010年03期

7 董晓霞;吕廷杰;;云计算研究综述及未来发展[J];北京邮电大学学报(社会科学版);2010年05期

8 邓仲华;朱秀芹;;云计算环境下的隐私权保护初探[J];图书与情报;2010年04期

9 马晓亭;陈臣;;基于成本收益分析的云计算环境下数字图书馆建设研究[J];图书与情报;2011年06期

10 卢民;;基于云计算的数字博物馆信息化建设研究[J];博物馆研究;2012年01期

相关会议论文 前10条

1 万丹丹;王宏;;云计算在编辑工作中的应用探讨[A];学术期刊编辑学理论与实践[C];2010年

2 郭捷夫;;基于云计算模型的绿色IT数据中心构建方案研究[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

3 汪云凤;李心科;;云服务环境下的服务聚合方法研究[A];2011中国仪器仪表与测控技术大会论文集[C];2011年

4 张白兰;杨向红;李家龙;刘伟;林创燕;邱正能;;物联网综述[A];中国电子学会第十七届信息论学术年会论文集[C];2010年

5 赵萌;;云计算及其在移动学习模式下应用初探[A];计算机研究新进展（2010）——河南省计算机学会2010年学术年会论文集[C];2010年

6 任伟;叶敏;刘宇靓;;云安全的信任管理研究[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

7 丛培民;龚立武;;基于云计算的网站群架构及安全性设计与实践[A];第26次全国计算机安全学术交流会论文集[C];2011年

8 周轩;黄璞;;基于云计算的OMS平台移动业务测试系统[A];中国通信学会第六届学术年会论文集（上）[C];2009年

9 唐玲;;云计算及其安全问题的研究[A];Proceedings of 2011 National Teaching Seminar on Cryptography and Information Security(NTS-CIS 2011) Vol.1[C];2011年

10 丁辉;赵炜妹;;基于云计算应用一级部署的研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年

相关博士学位论文 前10条

1 吴吉义;基于DHT的开放对等云存储服务系统研究[D];浙江大学;2011年

2 王铁军;非结构化对等网络资源定位技术研究[D];电子科技大学;2010年

3 江颉;面向电子服务的访问控制关键技术研究[D];浙江大学;2010年

4 张泽华;云计算联盟建模及实现的关键技术研究[D];云南大学;2010年

5 李铮;多媒体云计算平台关键技术研究[D];中国科学技术大学;2011年

6 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年

7 林云;汽车物流服务供应链体系构建与应用研究[D];重庆大学;2011年

8 朱智强;混合云服务安全若干理论与关键技术研究[D];武汉大学;2011年

9 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年

10 葛显龙;面向云配送模式的车辆调度问题及算法研究[D];重庆大学;2011年

相关硕士学位论文 前10条

1 孔楠;基于云计算平台的商业服务模式研究[D];上海外国语大学;2010年

2 康兴元;面向模具企业的注塑模设计知识网络化管理系统研究[D];大连理工大学;2010年

3 姜健;云计算在企业物资供应系统的应用研究[D];辽宁工程技术大学;2009年

4 薛师;云计算与网格计算的比较研究[D];河南理工大学;2010年

5 刘震宇;基于VMware vSphere4.0的PC服务器资源池构建[D];大连海事大学;2010年

6 梁文迪;一体化资产管理系统中财务模块的设计与实现[D];华南理工大学;2010年

7 胡清;基于云计算的券商网络营销服务平台研究与设计[D];南昌大学;2010年

8 刘荣华;基于P2P的语义Web服务查找与组合模型研究[D];南昌大学;2010年

9 李婵;基于云计算的智能手机数据挖掘平台的架构和实现[D];武汉理工大学;2010年

10 贺鹏;云计算的开发云的研究与实现[D];电子科技大学;2011年

【二级参考文献】

相关期刊论文 前10条

1 王婉;姚博;周鸣;;FTP服务器的建立及客户端的使用[J];河南气象;2006年01期

2 王海龙;杨忠霞;陈朝辉;吕冬柏;尹英汉;;地市级气象信息网络数据库系统建设及应用[J];气象与环境科学;2009年S1期

3 黄鹏;李占山;张永刚;鞠奇;;基于列存储数据库的压缩态数据访问算法[J];吉林大学学报(理学版);2009年05期

4 田立中;徐瑞余;周昭涛;;列存储在数据挖掘中的应用[J];金融电子化;2008年09期

5 朱率率;杨晓元;张薇;;基于数据相关性的调度算法[J];计算机工程;2010年10期

6 张淑萍;;地市级气象数据库的设计与实现[J];农业网络信息;2009年08期

7 张光卫;何锐;刘禹;李德毅;陈桂生;;基于云模型的进化算法[J];计算机学报;2008年07期

8 李俊,李勇;联邦式异构数据库应用系统的集成框架和实现技术的研究[J];计算机应用研究;2001年04期

9 余华鸿;李颖;张玉川;;数据仓库概述[J];科技信息(科学教研);2007年13期

10 田敬;代亚非;;P2P持久存储研究[J];软件学报;2007年06期

【相似文献】

相关期刊论文 前10条

1 梁震,陈新军;静态数据关联在关系数据库中的实现[J];计算机应用研究;2000年09期

2 成长生;模糊关系数据库的推理方法[J];纺织高校基础科学学报;2000年01期

3 徐如燕,李刚,张惠民,鲁汉榕;关系数据库中面向属性的泛化和约简[J];计算机工程与设计;2000年06期

4 周扬;关系数据库对多媒体数据的支持[J];南京广播电视大学学报;2000年04期

5 王甲民,姚延涛,沈均毅;映射对象到关系数据库[J];计算机应用;2001年01期

6 樊景博,段智毅;关系数据库的非群集访问与实现[J];商洛师范专科学校学报;2001年04期

7 童立,李晓,马远良;基于关系数据库的对象数据管理方法研究[J];小型微型计算机系统;2002年04期

8 胡为成;模糊关系数据库的关系运算[J];巢湖学院学报;2002年03期

9 曹大有,周天宏;关系数据库中索引表达式的讨论[J];福建电脑;2003年11期

10 周桂云;关系数据库中实现多对多关系的数据组织探讨[J];信息技术;2003年01期

相关会议论文 前10条

1 李晓瑞;刘刚;张小平;张红云;马垣;;关系数据库中的属性约简[A];第十九届全国数据库学术会议论文集（研究报告篇）[C];2002年

2 周训伟;鲍泓;;二层单准关系数据库(二层单准知识库)[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

3 王刚;石树刚;郑振楣;;关系数据库中的模糊数[A];第九届全国数据库学术会议论文集(下)[C];1990年

4 汪t熺，

本文编号：2200755