云存储中独立元数据的设计与实现

发布时间：2017-04-26 07:11

  本文关键词：云存储中独立元数据的设计与实现，，由笔耕文化传播整理发布。

【摘要】：在当今时代,科技不断进步,互联网领域的研究与创新不断改变着人们的生活。数据也在呈爆炸式增长,互联网处理数据的模式给航空航天领域数据的处理带来了启发和推动。传统上来讲数据靠单个计算机存储和分析,其早已不能满足航空航天领域产生的数据存储、分析的多种业务需求了。现在云存储技术的迅猛发展,为这个问题的解决带来了新的生机。云存储可以有许多实现和运作方式,每一种都力求完美达到需求的目标。而对如今的航空航天领域,数据存储的安全可靠性和数据读取分析的简便快捷性在不断地提高。大规模数据不断产生不但给数据存储系统提出了一道难题,同时对数据的访问和显示也是一个巨大的挑战。本文研究涉及的云存储,元数据的管理是它的核心,也是其系统构建和保障的重点。本文主要研究在分布式文件系统HDFS的基础上构建独立元数据,并依托该元数据架构进行权限控制来解决航天航空领域中的大规模数据文件的存储与读取问题。针对航空航天领域试验数据的特点和整体需求,采用HDFS对数据进行分布式存储,并深入研究了航天领域的权限关系模型和分布式缓存技术。本文首先对航天航空领域中可能产生的数据类型进行划分,并对具体的存储和读取方法进行了分析研究,设定了符合系统需求的分类方式。针对航天航空领域中文件类型多及数据量大的问题,本文采用将数据文件中的元数据信息抽取为树型结构进行存储并建立索引的方式来分别处理与搜索不同类型的数据文件。设计了统一的存储、读取访问接口,以提高用户上传存储大数据文件的效率,并依据用户的组和系统特定需求设定相应的权限处理,使不同的组和人员拥有对项目的不同操作权限,并将资源权限的粒度控制到文件级别,使存储的数据文件更加安全。同时,本文在系统服务层和数据层中间增加元数据缓存层和数据文件的分布式缓存层,以降低读取文件数据的延迟,提升系统响应速度,从而保证用户读取数据的实时及流畅,提高用户体验度。本文最后设计了多个实验用例进行测试验证。分别对独立元数据,用户权限和大量数据文件的快速存储与访问进行了多条件测试,并将有无分布式缓存对系统产生的影响进行了对比,结果达到了预期。
【关键词】：存储 元数据 HDFS 分布式缓存 权限
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333;TP311.13
【目录】：

• 摘要5-6
• ABSTRACT6-12
• 第一章 绪论12-18
• 1.1 研究背景12-13
• 1.2 国内外研究现状13-15
• 1.3 论文主要工作15
• 1.4 论文结构15-18
• 第二章 相关技术概述18-28
• 2.1 云存储相关技术18-23
• 2.1.1 HDFS18-21
• 2.1.2 元数据21-23
• 2.2 My SQL23-26
• 2.2.1 My SQL分表24
• 2.2.2 My SQL-Proxy24-26
• 2.3 基于资源角色的访问控制26-27
• 2.4 本章小结27-28
• 第三章 需求和总体设计28-34
• 3.1 需求分析与设计28-32
• 3.1.1 基本需求28-29
• 3.1.2 扩展要求29-30
• 3.1.3 总体框架设计30-32
• 3.2 平台功能模块划分32-33
• 3.3 本章小结33-34
• 第四章 元数据系统的设计与实现34-54
• 4.1 类型划分的设计与实现34-35
• 4.1.1 目录级别类型划分34-35
• 4.1.2 文件级别类型划分35
• 4.2 独立元数据的设计与实现35-40
• 4.2.1 元数据抽象映射35-38
• 4.2.2 数据的获取38-40
• 4.2.3 文件的搜索40
• 4.3 基于资源角色访问控制的设计与实现40-46
• 4.3.1 基本控制设计40-42
• 4.3.2 R-RBAC模型设计42-43
• 4.3.3 访问控制的实现43-46
• 4.4 分布式缓存的设计与实现46-52
• 4.4.1 分布式缓存的应用场景47
• 4.4.2 概述及功能47-48
• 4.4.3 架构及缓存信息设计48-49
• 4.4.4 缓存换出策略LRU和Round Robin49-52
• 4.5 本章小结52-54
• 第五章 测试与验证54-66
• 5.1 实验环境介绍54-55
• 5.1.1 软件54
• 5.1.2 硬件54
• 5.1.3 安装、测试和控制54-55
• 5.2 测试完成准则55
• 5.3 功能测试55-63
• 5.3.1 元数据测试55-58
• 5.3.2 访问控制测试58-62
• 5.3.3 分布式缓存对比测试62-63
• 5.4 性能测试63-65
• 5.4.1 上传 1GB数据63-64
• 5.4.2 大文件分析64-65
• 5.5 测试结果总结65-66
• 第六章 总结与进一步工作66-68
• 6.1 本文工作总结66
• 6.2 进一步研究工作66-68
• 参考文献68-70
• 致谢70-72
• 作者简介72-73

【参考文献】

中国硕士学位论文全文数据库 前1条

1 陈争航;分布式数据库系统研究与应用[D];西南交通大学;2002年

  本文关键词：云存储中独立元数据的设计与实现，由笔耕文化传播整理发布。

本文编号：327972