基于Openstack云存储技术的研究与实现

发布时间：2017-10-10 08:20

  本文关键词：基于Openstack云存储技术的研究与实现

  更多相关文章： Openstack Swift 云存储 云备份

【摘要】：当下随着企业或个人产生的数据量越来越大,单纯的本地存储空间已经无法满足人们的需要。在这种背景下各种类型的云存储平台纷纷涌现,极大地方便了人们的日常生活。各种云存储后端在提供大容量数据存储的同时也保证了后端的容错性及数据的安全性,使得数据更不易丢失。但是这些存储通常是以RESTful API的形式对外提供存储的服务,普通用户使用时过于繁琐,针对这个问题,本文设计并实现了客户端,充分利用了Swift的优秀性能,对云存储的部分操作进行了优化,设计并实现了以云备份的方式自动帮助用户释放本地存储空间的功能,为用户提供了简单易用的云存储服务。本文对Openstack的Swift组件进行了深入研究,基于它在负载均衡、数据容错性、数据迁移等方面的优秀性能,同时它的存储对象主要是图片,视频,镜像等静态数据,所以最终将Swift确定为客户端的存储后端。Swift中可以将Keystone配置为用户验证模块,客户端以Java重新封装Swift的RESTful API的方式调用Swift的服务,并以Web的形式向用户提供交互操作。在功能方面,客户端主要由验证模块、请求转发模块、具体的对象操作模块、缓存模块、数据备份模块及文件检验模块构成。首先,客户端实现了最基本的查询、上传、下载和删除操作。对于上传操作,第一,客户端解除了对文件大小的限制(Swift规定的最大上传文件为5G),采用了分块上传的操作;第二,利用了Java的多线程策略实现了并发操作。文中的实验结果也证实了在对这些操作进行优化后传输速度有一定的提升。对于视频文件,客户端采取了有别于普通文件的分块方式,保证了每块能单独播放,这样就能实现用户在下载时能先观看保存到本地的视频块。在为用户提供基本的文件存储的同时,为了能保证用户能高效地利用好本地文件系统的存储空间,本客户端还提供自动为用户进行数据云备份的功能,这样可以为用户分配更多的本地存储,避免出现本地文件系统出现存储容量不够的尴尬情况。所有数据上传到云端,用户可以根据自己的需要将相应的文件再下载到本地。
【关键词】：Openstack Swift 云存储 云备份
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要5-6
• Abstract6-9
• 第一章 绪论9-15
• 1.1 云存储的发展与现状9-12
• 1.1.1 云存储的发展9-10
• 1.1.2 云存储的现状10-12
• 1.2 选题意义12-13
• 1.3 研究内容13
• 1.4 论文组织结构13-14
• 1.5 本章小结14-15
• 第二章 相关理论及技术15-23
• 2.1 云计算平台Openstack的介绍15-18
• 2.2 主流存储平台的对比18-22
• 2.2.1 块存储Ceph18-20
• 2.2.2 分布式存储HDFS20-21
• 2.2.3 对象存储组件Swift21-22
• 2.3 本章小结22-23
• 第三章 Swift架构及存储原理23-35
• 3.1 Swift的相关概念23-24
• 3.2 Swift对象存储基本原理24-31
• 3.2.1 普通hash算法24-25
• 3.2.2 Swift中一致性hash算法的介绍25-27
• 3.2.3 Swift中基于一致性散列环的映射实现27
• 3.2.4 Swift数据模型27-28
• 3.2.5 Swift系统架构详细介绍28-30
• 3.2.6 Swift数据一致性介绍30-31
• 3.3 Swift API的介绍与测试31-34
• 3.4 本章小结34-35
• 第四章 云存储客户端的设计与实现35-52
• 4.1 应用的总体需求35-36
• 4.2 应用的总体架构36-37
• 4.3 云存储客户端的概要设计37-38
• 4.4 客户端的框架设计38-39
• 4.5 云存储的具体实现39-50
• 4.5.1 Swift的部署39-42
• 4.5.2 客户端各个模块的详细设计42-50
• 4.6 本章小结50-52
• 第五章 客户端测试与分析52-61
• 5.1 系统环境52-53
• 5.2 系统测试53-57
• 5.2.1 客户端展示53-54
• 5.2.2 具体功能实现的检验54-57
• 5.3 性能测试57-59
• 5.4 测试结果分析59-60
• 5.5 本章小结60-61
• 总结与展望61-63
• 参考文献63-66
• 致谢66-67
• 答辩委员签名的答辩决议书67

【相似文献】

中国期刊全文数据库 前10条

1 袁俊德;高国奇;李跃华;;SWIFT的基本架构与技术发展[J];中国金融电脑;2007年05期

2 杨士华;;SWIFT在中国的发展和应用[J];金融电子化;2008年10期

3 李赫;;SWIFT与东亚的合作及启示[J];华南金融电脑;2008年05期

4 毛翔昊;;中国农业发展银行SWIFT系统升级实录[J];中国金融电脑;2012年08期

5 ;SHENZHEN POST IN SWIFT DEVELOPMENT[J];中国邮政;1988年01期

6 杨英;Swift系统[J];管理科学文摘;1995年06期

7 王嵩 ,张静;SWIFT及其在我国推广应用的前景[J];信息系统工程;1997年12期

8 罗军舟,程华,周润芳,顾冠群;一个SWIFT端系统的设计与实现[J];中国金融电脑;2000年02期

9 ;上海信天喜获华东首份SWIFT客户合同[J];通信世界;2004年04期

10 沈国华;;SWIFT在我国商业银行的应用及其前景[J];电脑与电信;2007年02期

中国重要会议论文全文数据库 前3条

1 林一清;;Swift/BAT observations for X-ray flashes[A];中国天文学会2007年学术年会论文集[C];2007年

2 孙峻峭;;青海中行SWIFT应用及安全[A];第十一届全国计算机安全技术交流会论文集[C];1996年

3 张峰;李基亮;;校园私有云存储方案与探索[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年

中国重要报纸全文数据库 前10条

1 张泰欣;SWIFT助力金融交易处理平台[N];中国证券报;2007年

2 维德;上海信天获华东首份SWIFT客户合同[N];中国电子报;2004年

3 曾娅;上海信天喜获华东首份SWIFT客户合同[N];人民邮电;2004年

4 河南 韩欲青;Swift 3D让平面动起来[N];中国电脑教育报;2001年

5 记者 潘晓娟;SWIFT合作伙伴计划助推中国金融设施建设[N];中国经济导报;2007年

6 袁媛邋谢晓冬;中行成为内地首家SWIFT组织成员[N];上海证券报;2007年

7 隽文;SWIFT将促进中国金融市场协调发展[N];中国经济导报;2008年

8 魏建玲邋张娜;SWIFT促进中国金融市场协调发展[N];国际商报;2008年

9 记者 潘晓娟;向中国银行提供标准化的服务[N];中国经济导报;2006年

10 记者 潘晓娟;借助SWIFT：中国银行力促中国贸易发展[N];中国经济导报;2007年

中国博士学位论文全文数据库 前1条

1 俞云伟;Swift时代伽玛射线暴及其余辉的多波段研究[D];华中师范大学;2009年

中国硕士学位论文全文数据库 前10条

1 张如江;SWIFT公司产品服务保障体系设计[D];电子科技大学;2015年

2 张海涛;SWIFT与FTire轮胎模型的应用对比研究[D];吉林大学;2016年

3 夏志雄;基于Openstack云存储技术的研究与实现[D];华南理工大学;2016年

4 王希光;基于Swift的小对象访问性能优化研究与实现[D];哈尔滨工业大学;2016年

5 彭暄;基于Swift的海量小文件对象存储研究[D];哈尔滨工业大学;2016年

6 毕晓宇;商业银行SWIFT系统接入及实现[D];电子科技大学;2005年

7 付世平;基于Swift的教育资源共享平台的设计与实现[D];西安电子科技大学;2014年

8 周冀平;基于Swift的云存储产品优化及云计算虚拟机调度算法研究[D];华东理工大学;2015年

9 张帆;从Objective-C到Swift的软件移植研究及实现[D];中国科学院大学（工程管理与信息技术学院）;2015年

10 李迎宾;商业银行国际业务报文处理系统设计与实现[D];天津大学;2014年

，

本文编号：1005306