基于分布式文件系统GlusterFS的横向扩展云存储的研究与实现

发布时间：2017-05-01 17:04

  本文关键词：基于分布式文件系统GlusterFS的横向扩展云存储的研究与实现，由笔耕文化传播整理发布。

【摘要】：随着大数据,云计算和物联网等的迅猛发展,越来越多的数据需要被存储和分析,传统的存储服务器在性能和扩展性方面越来越不能满足数据存储现在和未来的需求。云存储作为未来存储发展的主要方向,对云存储架构的研究显得迫切而重要。横向扩展存储(Scale-out)相对于纵向扩展存储(Scale-up)由于在扩展性,稳定性,安全性等方面具有突出的优势,很适合作为云存储的底层架构,越来越受到学术界和工业界的重视。与此同时,众多的分布式文件系统也得到了长足的发展,GlusterF S作为其中设计思路独特又在性能和扩展性方面优势突出的一种开源分布式文件系统,具有非常光明的前景。虽然横向扩展存储具有明显的优势,但存储服务器的高功耗却是存储节点扩展的一大制约因素,存储密度不高也是亟待解决的瓶颈。而GlusterFS在安全性方面的不足已经阻碍其进一步的发展,其针对定制服务器的优化也明显不足。本文在深入分析传统存储架构瓶颈和传统横向扩展存储的不足的基础上,研究并提出了一种新型的横向扩展的云存储方案。硬件方面,基于CPU芯片是服务器主板的主要功耗来源,降低CPU芯片的功耗可以有效降低其他功能单元的耗电量,本文详细分析了CPU性能和功耗之间的关系,针对云存储的数据类型和计算特征,概念性设计了“云存储节点专用CPU芯片”,并通过减少外围不必要芯片,设计了专门用于云存储的微服务器。为了提高存储密度,研究并实现了在2U机箱中单节点集成18块3.5寸硬盘,并通过对固态硬盘优化技术和万兆以太网技术来提高I/O性能和带宽。在此基础上设计了低功耗高密度的基于微服务器的云存储一体机。系统软件方面,研究了现有的分布式文件系统GlusterFS,肯定了其在性能,扩展等方面的优势。从缓存,合并小顺序I/O,条带化等方面研究了GlusterFS的优化策略,并提出了针对性的改进措施。在安全机制方面,分析了其不足之处,如没有提供任何的身份验证机制和访问控制机制等,它采用的加解密算法—rot13,也是非常容易被破解。针对上述缺陷,本文主要从密钥和身份验证方面对GlusterFS文件系统在安全性方面进行了研究和改进。本文基于上述对云存储服务器和GlusterFS 文件系统的研究对其进行了实现,对此云存储系统的进行了部署,并对节点的分配、卷的管理进行了实际操作来验证系统的可靠性,并设计了web管理平台实现对整个集群的监控和管理。最后通过对此系统的测试,验证了本文提出的云存储方案的可行性和性能优势。
【关键词】：横向扩展 云存储 低功耗 GlusterFS 安全性机制
【学位授予单位】：复旦大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333;TP309
【目录】：

• 摘要6-7
• Abstract7-8
• 第一章 绪论8-12
• 1.1 研究背景和意义8-10
• 1.1.1 横向扩展云存储产生的背景及其优势8-9
• 1.1.2 研究横向扩展云存储技术的意义9-10
• 1.2 本文主要工作10-11
• 1.3 论文结构11-12
• 第二章 横向扩展云存储原理及相关技术分析12-30
• 2.1 信息存储系统的发展历程12-19
• 2.1.1 总线存储体系结构13-15
• 2.1.2 网络存储体系结构15-18
• 2.1.3 虚拟存储体系结构18-19
• 2.2 不同扩展方式及云存储方案的分析与对比19-23
• 2.2.1 不同扩展方式的分析与对比19-21
• 2.2.2 不同云存储方案的分析与对比21-23
• 2.3 GlusterFS核心技术分析及其优势23-29
• 2.3.1 GlusterFS概述23-25
• 2.3.2 GlusterFS设计目标25-26
• 2.3.3 GlusterFS总体架构和设计26-28
• 2.3.4 GlusterFS技术特点28-29
• 2.4 本章小结29-30
• 第三章 云存储系统架构及可靠性设计30-37
• 3.1 云存储分层可扩展构架的设计30-32
• 3.1.1 资源节点层31
• 3.1.2 云存储站点层31-32
• 3.1.3 分布式存储层32
• 3.2 云存储可靠性机制分析32-36
• 3.2.1 RAID可靠性分析32-33
• 3.2.2 副本冗余可靠性分析33-34
• 3.2.3 纠删码可靠性分析34-35
• 3.2.4 系统可靠性分析35-36
• 3.3 本章小结36-37
• 第四章 低功耗高密度云存储一体机的设计37-44
• 4.1 存储服务器的低功耗设计37-41
• 4.1.1 存储服务器的低功耗和高效能研究37-38
• 4.1.2 低功耗CPU的研究与设计38-41
• 4.2 存储服务器的高密度设计41-43
• 4.2.1 传统存储服务器在云存储领域的缺陷分析42
• 4.2.2 适用于高密度存储的微服务器设计42-43
• 4.3 本章小结43-44
• 第五章 GlusterFS性能优化及安全性改进44-59
• 5.1 GlusterFS文件系统性能优化44-47
• 5.1.1 缓存优化技术44-45
• 5.1.2 合并顺序小I/O优化技术45-46
• 5.1.3 条带化优化技术46-47
• 5.2 Gluster的安全性研究及改进47-58
• 5.2.1 密钥的设计与管理48-55
• 5.2.2 身份验证设计55-58
• 5.3 本章小结58-59
• 第六章 横向扩展云存储的实现及验证59-69
• 6.1 横向扩展云存储系统的部署59-64
• 6.1.1 云存储一体机的部署59-60
• 6.1.2 GlusterFS文件系统的部署与管理60-63
• 6.1.3 Web管理平台设计63-64
• 6.2 测试与验证64-68
• 6.2.1 测试环境与测试方法64-66
• 6.2.2 测试结果分析66-68
• 6.3 本章小结68-69
• 第七章 总结与展望69-71
• 7.1 总结69
• 7.2 展望69-71
• 参考文献71-74
• 致谢74-75

【参考文献】

中国期刊全文数据库 前1条

1 余秦勇;陈林;童斌;;一种无中心的云存储架构分析[J];通信技术;2012年08期

  本文关键词：基于分布式文件系统GlusterFS的横向扩展云存储的研究与实现，，由笔耕文化传播整理发布。

本文编号：339284