基于Hadoop的气象信息云存储系统设计与实现

发布时间：2017-09-16 13:10

  本文关键词：基于Hadoop的气象信息云存储系统设计与实现

  更多相关文章： Hadoop HBase 气象信息 云存储

【摘要】：气象信息存储系统主要用于省市或者全国的气象数据存储、显示、管理和检索,是气象预报工作的基础部门,也是气象部门中使用频率较高的信息化系统之一。当前,随着各大部门气象信息的数据量和气象数据种类不断高速地增长,如何高效可靠地存储、管理使用丰富的气象数据信息变得十分重要,传统的气象数据存储方式采用文件存储或者分布式关系数据库存储,这种存储方案日益无法满足用户对精细化气象预报业务的要求。本文设计了一种基于Linux OS和HDFS的气象信息云存储系统,能够部署在普通服务器上,可以很容易扩大整个存储系统的处理容量,提高了数据可靠性的同时也为气象部门节约了成本。气象信息云存储系统由分布式文件系统、局域通信网络、服务器集群系统、虚拟化存储技术等构成,把分布在网络上的各种存储设备整合成为一个资源池,作为一个服务体系对外提供统一的访问接口。这样不仅可以有效整合存储资源,还可以提高存储的便捷性和资源共享。用户上传的气象文件都存储在一个海量数据存储池里面;当用户查找和下载需要的资源时,可以自由方便地从存储池中下载下来,灵活性很高。用户层采用扩展性好、架构清晰的SSH(Spring+Struts2+Hibernate)框架实现了Web访问界面,用户和管理员在不需要了解底层存储细节的情况下,也能够对气象数据进行可视化管理、检索和维护。本文最终开发完成的系统优点如下:一、能够存储海量数据。系统中多台存储设备并发存取,协同工作,不仅提高了存储容量也提高了存储速度。二、系统可自由扩展。可以对访问频率较高的数据实行多副本策略,在不影响整个系统运营的下进行动态的容量扩展。三、数据存储透明化。后台数据的存储空间由Hadoop系统自动分配,用户无需考虑数据的存储方式和存储位置。四、系统的可靠性高。Hadoop使用快速恢复算法、多副本机制和校验函数来保障数据的完整性和可靠性,用户无需关心数据如何保存,或者采用什么样的格式保存,数据存储会否出错。五、费用较低。采用开源免费的Hadoop框架和普通的X86服务器,可以为气象部门大量节省经费,缓解各省市经费紧张的局面。因此本系统能够为海量气象信息的存储提供一套完整的解决方案,在气象部门将会具有广阔的应用前景。
【关键词】：Hadoop HBase 气象信息 云存储
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 绪论11-15
• 1.1 研究背景和意义11-12
• 1.2 国内外研究现状12-13
• 1.3 论文工作内容13
• 1.4 论文组织结构13-15
• 第二章 相关技术研究15-29
• 2.1 开发技术介绍15-22
• 2.1.1 JSP技术简介15-16
• 2.1.2 MySQL简介16-17
• 2.1.3 Eclipse开发环境简介17-18
• 2.1.4 Tomcat服务器简介18-19
• 2.1.5 Zookeeper简介19-20
• 2.1.6 HBase简介20-22
• 2.1.7 Hadoop Eclipse插件简介22
• 2.2 Hadoop系统结构22-23
• 2.3 Hadoop设计思想23-27
• 2.3.1 Hadoop数据组织23-24
• 2.3.2 Hadoop文件读取24-26
• 2.3.3 Hadoop文件写入26-27
• 2.4 Hadoop容灾备份27-29
• 2.4.1 Hadoop副本备份机制27
• 2.4.2 HadoopCRC校验27-29
• 第三章 系统需求分析29-35
• 3.1 系统现状分析29-30
• 3.2 系统数据分析30-31
• 3.3 系统用户分析31-32
• 3.4 系统功能分析32-33
• 3.4.1 系统设计思路32
• 3.4.2 系统工作流程32-33
• 3.5 系统可行性分析33-35
• 第四章 系统设计35-47
• 4.1 系统功能设计35-39
• 4.1.1 系统顶层数据流图35-36
• 4.1.2 系统一层数据流图36
• 4.1.3 系统二层数据流图36-39
• 4.2 系统UML图设计39-43
• 4.2.1 系统活动图设计39-40
• 4.2.2 系统顺序图设计40-42
• 4.2.3 系统协作图设计42-43
• 4.3 系统存储结构设计43-44
• 4.4 系统数据库设计44-47
• 4.4.1 数据库概念设计44
• 4.4.2 数据库表结构设计44-47
• 第五章 系统实现47-65
• 5.1 存储模块实现47-54
• 5.1.1 底层Hadoop系统设计47-53
• 5.1.2 操作界面与Hadoop的连接设计53-54
• 5.2 管理员模块实现54-61
• 5.2.1 用户管理模块55-56
• 5.2.2 服务器管理模块56
• 5.2.3 文件管理模块56-57
• 5.2.4 文件归档模块57-58
• 5.2.5 自动备份模块58-59
• 5.2.6 文件同步模块59-61
• 5.3 普通用户模块实现61-65
• 5.3.1 用户信息修改模块61-62
• 5.3.2 气象文件上传模块62-63
• 5.3.3 气象文件下载模块63-65
• 第六章 系统测试65-69
• 6.1 测试平台65
• 6.2 功能测试65-67
• 6.2.1 用户登录模块测试66-67
• 6.2.2 用户个人信息模块测试67
• 6.3 压力测试67-69
• 6.3.1 可靠性测试68
• 6.3.2 响应性能测试68-69
• 第七章 总结与展望69-71
• 7.1 总结69-70
• 7.2 展望70-71
• 致谢71-72
• 参考文献72-74

【相似文献】

中国期刊全文数据库 前10条

1 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期

2 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期

3 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期

4 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期

5 ;昆腾分级存储系统[J];软件世界;2009年11期

6 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期

7 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期

8 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期

9 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期

10 贾莉;;Symmetrix8000实现19TB存储[J];每周电脑报;2000年18期

中国重要会议论文全文数据库 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

中国重要报纸全文数据库 前10条

1 ;第三季度中国存储系统市场达19.1亿元[N];中国高新技术产业导报;2005年

2 本报记者 薛斐;服务：存储系统的灵魂[N];计算机世界;2002年

3 单群一;惠普推出全新一体化存储系统[N];中国税务报;2007年

4 ;浪潮推出4Gb光纤存储系统[N];人民邮电;2006年

5 ;今年第二季度 存储系统市场价值达12.6亿元[N];人民邮电;2006年

6 郭;日立推出普及型存储系统[N];计算机世界;2007年

7 陈耀光;朗登 扛起存储系统设计院的大旗[N];中国企业报;2001年

8 ;富士通存储系统全面升级[N];网络世界;2009年

9 ;EMC亚洲生产制造中心落户深圳[N];网络世界;2009年

10 临履;存储系统有了“设计院”[N];网络世界;2001年

中国博士学位论文全文数据库 前10条

1 赵雨虹;云存储系统资源调度技术研究[D];华中科技大学;2015年

2 王福伟;列存储系统的数据安全与网络性能优化模型研究[D];燕山大学;2016年

3 张菁;大规模分布式纠删码存储系统中的高效数据传输技术研究[D];国防科学技术大学;2015年

4 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

5 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

6 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

7 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

8 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

9 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年

10 符青云;面向大规模流媒体服务的高性能存储系统研究[D];电子科技大学;2009年

中国硕士学位论文全文数据库 前10条

1 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年

2 俞新杰;跨数据中心容错的云存储系统[D];浙江大学;2016年

3 王振升;可重构堆叠存储系统的设计及实现研究[D];太原理工大学;2016年

4 王海群;面向数字社区的云存储系统的研究与实现[D];中国海洋大学;2015年

5 范海震;基于Linux的MPEG-4图像压缩存储系统[D];西安电子科技大学;2008年

6 陈运海;编码容错的云存储系统与性能优化[D];南京大学;2013年

7 卢义婉;基于网络编码的云存储系统中负载均衡技术研究[D];南京大学;2013年

8 王谦;云存储系统基于属性的数据访问控制研究[D];江苏大学;2016年

9 蔡京津;基于Orleans的块存储系统的设计与实现[D];吉林大学;2016年

10 王丹丹;数字射频存储系统中高速DAC电路的设计与实现[D];燕山大学;2016年

，

本文编号：863234