基于OpenStack的云存储系统的研究与设计

发布时间：2017-09-14 07:29

  本文关键词：基于OpenStack的云存储系统的研究与设计

  更多相关文章： 云存储 OpenStack 大文件 虚拟目录 访问控制

【摘要】：面对海量数据的存储需求，传统的存储系统在性能、存储容量、数据的可靠性、存储成本等方面存在很大的不足。为了解决企业和个人面临的PB级非结构化数据的存储难题，本文提出了基于开源云计算平台OpenStack的云存储系统的解决方案。 本文首先研究了商业云存储系统和开源云存储项目，分析了它们的系统架构和工作原理。然后研究了OpenStack的基本功能、服务关系模型以及身份认证服务Keystone的关键概念、工作原理。深入讨论了对象存储服务Swift的数据组织结构和整体架构，详细分析了Swift数据一致性模型、数据映射算法、核心数据结构以及上传数据和下载数据的工作流程。 在此基础之上本文提出了云存储系统的整体设计方案。设计了符合用户使用习惯的容器－目录－对象三级资源管理模式，以及涵盖客户端和服务端的层次架构。本文借鉴Google Drive中文件夹的实现原理，，采用了虚拟目录的设计方案；为了保护企业用户和个人用户的数据安全，提出了基于Keystone的访问控制机制；为了解决Swift在存储GB级大文件方面的不足，设计了基于文件分割、片段合并、并行处理的GB级大文件的存储策略。 最后通过Java多线程实现了云存储系统的客户端，并在有限的廉价硬件设备上搭建了云存储实验环境。通过实验证明了本系统的可用性。实验表明，云存储系统实现了容器、目录、对象管理功能，提供了安全的访问控制机制，并且突破了Swift对文件大小的限制，提高了文件的上传和下载速度。
【关键词】：云存储 OpenStack 大文件 虚拟目录 访问控制
【学位授予单位】：北京工业大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP311.52;TP333
【目录】：

• 摘要4-5
• Abstract5-8
• 第1章 绪论8-18
• 1.1 研究背景和意义8-9
• 1.2 国内外研究现状9-15
• 1.2.1 Amazon 简单存储服务 S39-10
• 1.2.2 Google 文件系统 GFS10-12
• 1.2.3 淘宝文件系统 TFS12-13
• 1.2.4 Hadoop 文件系统 HDFS13-14
• 1.2.5 云存储与 OpenStack14-15
• 1.3 论文的研究内容15
• 1.4 论文的组织结构15-18
• 第2章 OpenStack 开源云计算平台18-22
• 2.1 OpenStack 概述18
• 2.2 OpenStack 服务关系模型18-19
• 2.3 身份认证服务 Keystone19-20
• 2.4 RESTful Web 服务20
• 2.5 本章小结20-22
• 第3章 Swift 架构及原理22-32
• 3.1 对象存储服务 Swift22
• 3.2 Swift 的数据组织结构22-23
• 3.3 Swift 的整体架构23-25
• 3.4 Swift 的数据一致性模型25-26
• 3.5 Swift 的核心算法和数据结构26-29
• 3.5.1 一致性哈希算法26-28
• 3.5.2 数据结构 Ring28-29
• 3.6 数据读写流程29-30
• 3.7 Swift 的对外接口30
• 3.8 本章小结30-32
• 第4章 云存储系统的设计32-42
• 4.1 云存储系统的功能结构32-33
• 4.2 云存储系统的层次架构33-34
• 4.3 虚拟目录设计方案34-35
• 4.4 云存储系统的访问控制机制35-37
• 4.5 大文件存储策略37-39
• 4.6 上传下载的工作流程39-41
• 4.7 本章小结41-42
• 第5章 云存储系统的实现42-50
• 5.1 虚拟目录的创建和删除42-44
• 5.2 上传下载的并发执行44-45
• 5.3 同步异步调用45-46
• 5.4 REST 接口封装46-47
• 5.5 本章小结47-50
• 第6章 云存储系统的部署与实验50-56
• 6.1 实验环境部署50-51
• 6.2 云存储服务的重要配置51-52
• 6.3 实验与分析52-55
• 6.3.1 大文件上传下载效率52-54
• 6.3.2 访问控制的验证54-55
• 6.4 本章小结55-56
• 结论56-58
• 参考文献58-62
• 攻读硕士学位期间发表的学术论文62-64
• 致谢64

【共引文献】

中国期刊全文数据库 前10条

1 马晓亭;陈臣;;基于虚拟化技术的数字图书馆分布式云计算数据中心研究[J];情报科学;2012年07期

2 黄卫东;杨继东;;云计算环境下应急知识共享机制研究[J];情报理论与实践;2011年12期

3 李春燕;;云计算环境下图书馆数字资源的存储[J];情报探索;2011年07期

4 叶茂;吕鹏辉;沈振兴;宁达;钟永恒;;我国新一代信息技术及其材料的科技成果计量分析[J];情报探索;2012年03期

5 张兴旺;李晨晖;秦晓珠;;构建于廉价计算机集群上的云存储的研究与初步实现[J];情报杂志;2011年11期

6 刘新华;胡纯蓉;;云计算中数据安全关键技术和解决方案[J];全国商情(理论研究);2011年04期

7 于晓坤;;传统企业虚拟化解决方案[J];齐齐哈尔大学学报(自然科学版);2012年03期

8 苗秀;俞俊生;刘绍华;陈晓东;;基于云计算平台的移动IPTV系统设计及负载均衡技术研究[J];软件;2011年01期

9 王宏宇;;Hadoop平台在云计算中的应用[J];软件;2011年04期

10 朱翠苗;;一种SWJS云平台研究与应用[J];软件;2011年06期

中国重要会议论文全文数据库 前10条

1 赵萌;;云计算及其在移动学习模式下应用初探[A];计算机研究新进展（2010）——河南省计算机学会2010年学术年会论文集[C];2010年

2 丛培民;龚立武;;基于云计算的网站群架构及安全性设计与实践[A];第26次全国计算机安全学术交流会论文集[C];2011年

3 李杰;王爱民;于金刚;;智能电网中云计算技术的应用研究[A];中国智能电网学术研讨会论文集[C];2011年

4 赵炳;胥光辉;柳旭;李慧冬;;基于Hadoop平台的软件系统的测试研究[A];第十七届全国青年通信学术年会论文集[C];2012年

5 程辉;黄晓春;茅明睿;;城乡规划辅助决策支持平台建设研究——以北京城乡规划为例[A];多元与包容——2012中国城市规划年会论文集(13.城市规划管理)[C];2012年

6 申侃;梁昌勇;赵树平;;智慧景区客流量预测系统的ETL过程设计与实现[A];第八届（2013）中国管理学年会论文集（选编）[C];2013年

7 刘仲刚;陈辉;黄章羽;陆明;;云技术在水利地理信息服务平台建设中的应用[A];中国水利学会2013学术年会论文集——S4水利信息化建设与管理[C];2013年

8 刘海林;;基于云计算技术的水务信息化平台应用研究[A];中国水利学会2013学术年会论文集——S4水利信息化建设与管理[C];2013年

9 申侃;梁昌勇;赵树平;;智慧景区客流量预测系统的ETL过程设计与实现[A];第八届（2013）中国管理学年会——信息管理分会场论文集[C];2013年

10 程辉;;大数据时代UPSS构建方法研究与实践[A];城乡治理与规划改革——2014中国城市规划年会论文集（04城市规划新技术应用）[C];2014年

本文编号：848701