试验数据管理平台云存储服务的研究与实现

发布时间：2017-06-24 18:16

  本文关键词：试验数据管理平台云存储服务的研究与实现，由笔耕文化传播整理发布。

【摘要】：随着信息化水平的提升，中国的航天科技发展日新月异，航天信息业也取得了跨越式发展。在对时空的探索中，航天数据有着至关重要的作用，它是分析的基础，实践的基石。当前航天数据高速、海量的发展趋势对数据的存储、查询和分析都提出了更高的要求。 本文介绍了基于Hadoop的试验数据管理平台，该平台采用HDFS分布式文件系统和HBase分布式数据库综合存储的方式提供航天试验数据的云端存储和计算服务。本文设计了HBase+HDFS的综合存储方式来适应不同的数据类型和不同的用户需求，并在HBase和HDFS上实现一致的查询和计算服务；通过中间层以SQL语句的方式访问HBase，采用多线程实现HBase上数据的高速导入、查询和计算；对HBase和HDFS设计统一的缓存层，并制定有效的缓存策略，提高数据查询速率。最后通过实验对试验数据管理平台的功能和性能进行验证，结果表明该平台可以满足项目需求，提供高效的云端存储和计算服务。
【关键词】：云存储 分布式数据库 分布式文件系统 缓存
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333;TP311.13
【目录】：

• 摘要3-4
• Abstract4-7
• 第一章 绪论7-15
• 1.1 研究背景7-8
• 1.2 存储技术研究现状8-12
• 1.3 论文主要工作12
• 1.4 论文的组织结构12-15
• 第二章 分布式存储相关技术15-23
• 2.1 开源框架 Hadoop 介绍15-21
• 2.1.1 Hadoop 概述15
• 2.1.2 分布式文件系统 HDFS15-17
• 2.1.3 分布式数据库 HBase17-21
• 2.2 HBase 的 SQL 接口 Phoenix21-23
• 第三章 系统总体框架分析与设计23-29
• 3.1 系统需求分析23
• 3.2 系统设计目标23-24
• 3.3 系统设计原则24-25
• 3.4 系统模块划分25-29
• 第四章 云存储服务的设计与实现29-59
• 4.1 存储服务整体结构29-30
• 4.2 HBase 存储服务的设计与实现30-49
• 4.2.1 数据库连接池31-34
• 4.2.2 Access 数据库的导入34-37
• 4.2.3 条件查询和列的计算37-44
• 4.2.4 数据的定量查询44-49
• 4.3 缓存层的设计与实现49-59
• 4.3.1 缓存的提出49-50
• 4.3.2 缓存的数据结构50-52
• 4.3.3 缓存的策略52-54
• 4.3.4 缓存的实现54-56
• 4.3.5 HBase 对缓存的支持56
• 4.3.6 HDFS 对缓存的支持56-59
• 第五章 测试与验证59-65
• 5.1 实验环境配置59-60
• 5.2 Access 数据导入的测试60
• 5.3 HBase 上基于列的计算的测试60-63
• 5.4 HBase 上定量查询的测试63
• 5.5 HBase 上条件查询和采样的测试63-64
• 5.6 实验小结64-65
• 第六章 总结与展望65-67
• 6.1 本文工作总结65
• 6.2 进一步研究方向65-67
• 致谢67-69
• 参考文献69-71

【相似文献】

中国期刊全文数据库 前10条

1 吴光荣;柳书涛;章剑雄;;基于ZigBee的无线传感器网络数据管理平台[J];电子科技;2009年02期

2 周敏珍;;构建统一数据管理平台[J];福建电脑;2010年06期

3 陈德旺;魏天磊;侯赞;;嵌入式数字轨道地图数据管理平台的研究与设计[J];铁路计算机应用;2010年07期

4 倪计民;周童;叶年业;石秀勇;;基于发动机CAE的数据平台构建[J];工业工程;2011年01期

5 唐飞;熊运余;杨璇;;基于SOA的空管数据管理平台研究与实现[J];微计算机应用;2009年05期

6 迟岩;耿亮;黄种明;李叶妮;;基于异构体结构的低压配电智能监控系统设计[J];辽宁工程技术大学学报;2007年01期

7 周韵;王志平;;无线传输在实时水位监测系统中的应用[J];电子技术应用;2007年03期

8 文必龙;王志宝;王琳琳;冯文征;;基于模型驱动的软件集成平台研究与实现[J];计算机工程与设计;2007年23期

9 张鹏;;数据激增何以解忧?[J];通信世界;2011年16期

10 刘宪军;合理设计 充分利用网络资源[J];中国计算机用户;2000年14期

中国重要报纸全文数据库 前10条

1 中天国际控股有限公司　刘东海;银行业IT的70％[N];网络世界;2005年

2 ;工作组级的投入 企业级的回报[N];计算机世界;2003年

3 ;工作组级的投入 企业级的回报[N];计算机世界;2003年

4 ;Sybase ASE12．5．1[N];中国计算机报;2003年

5 记者 李丹;环保合作达成广泛共识[N];四川日报;2005年

6 ;新奥特民族视频产品名扬BIRTV[N];中国计算机报;2003年

7 CommVault公司 林晓明;CommVault D2D2T技术[N];计算机世界;2005年

8 陈友梅;Linux战役瞄向中端市场[N];中国计算机报;2003年

9 ;IBM DB2：业界一致的选择[N];网络世界;2001年

10 CPW记者　张振;Sybase、Turbolinux、惠普联手打中小企业数据管理组合拳[N];电脑商报;2004年

中国博士学位论文全文数据库 前1条

1 李笕列;流程企业模型与数据管理研究[D];浙江大学;2009年

中国硕士学位论文全文数据库 前9条

1 唐建成;基于WSN的城市水资源数据管理平台的研究与应用[D];西安工业大学;2014年

2 杨静;试验数据管理平台云存储服务的研究与实现[D];西安电子科技大学;2014年

3 张金才;设计企业管理信息系统的设计与应用研究[D];天津大学;2004年

4 陈振权;以SLA为中心的网络运行监测系统数据管理平台设计与实现[D];电子科技大学;2009年

5 周杰;海上地震勘探多缆采集系统主控软件研究与设计[D];中国科学技术大学;2009年

6 彭俊;基于J2EE架构的湖南国税征管数据管理平台的设计与实现[D];中南大学;2006年

7 王凯;面向SLA的网络运行监测系统[D];电子科技大学;2008年

8 魏海波;FQJ—108天然气计量专用系统[D];重庆大学;2002年

9 魏祖宽;FIC-2000天然气流量计量系统[D];合肥工业大学;2003年

  本文关键词：试验数据管理平台云存储服务的研究与实现，由笔耕文化传播整理发布。

，

本文编号：479060