一种无主控制的云存储架构的研究

发布时间：2020-06-15 16:16

【摘要】：Internet时代是一个信息时代,大量的信息以井喷的姿势出现在互联网上,未来网络更以海量数据处理应用为中心,如何有效存储和管理成为当前网络面临的难点之一。分布式云存储作为一种新兴的分布式存储,以其结构灵活、响应效率高、管理方便等特性,成为各企事业单位解决数据爆炸性增长方案的首选。但研究发现,无论是传统式的分布式文件系统还是面向Internet的分布式文件系统,它们从可扩展性、可靠性、容错性及服务性能等诸多方面,距离支持海量数据的云存储要求都存在较大的差距。而造成这些不足的原因正是由于这些系统所共同采用的逻辑集中式的体系结构,并且,随着系统规模的不断增大,不足会愈加明显。基于以上问题,在本实验室的分布式环境下,在本文系统、全面地学习和总结分布式存储系统发展现状的基础上,充分考虑到云存储的特点及各种云应用对数据及资源的需求,设计了一种物理与逻辑相统一的云存储架构,该架构通过结合集中式管理的效率及P2P存储方式的健壮性,改变了集中式管理伸缩性差以及整个存储系统对主节点的单点依赖,实现了逻辑与物理相统一的分布式,使具有高可扩展性、高可靠性、用户透明性及强容错性的云存储系统成为可能。首先,本文设计了一个物理与逻辑相统一的无主控制的云存储架构,利用分区自治的管理节点SuperNode节点克服了集中式架构中的单点依赖；其次,通过SuperNode节点间的协作机制,对已存在的应用不会造成任何负面影响,可兼容集中式架构拥有的任何应用,从而提高了整个云存储架构可扩展性；最后,为了实现不需任何手动干预即可自动、快速地接管失效管理节点的子群,设计了一套动态接管机制,通过完善数据节点的心跳机制,使失效管理节点下的数据节点动态地被接管,并加入到新的子群当中继续提供服务,大大增强了云存储系统的容错性。本文中云存储架构的设计区别于其他传统式或现有的存储架构,是真正的云存储,为各行各业有效地进行海量数据的存储与管理打下了坚实的基础,同时本架构可实施于任何普通的PC集群上,极大降低了运行分布式系统的成本。
【学位授予单位】：大连理工大学
【学位级别】：硕士
【学位授予年份】：2011
【分类号】：TP333
【图文】：

架构图,眼节,基本逻辑,架构

PVFS(并行虚拟文件系统)可以直接应用于廉价的Linux集群而且并不需要特殊的设备和对内核进行改动。PVFS的基本逻辑架构如图2.2所示， PVFSServerS是管理节点，即系统的元数据服务器，它负责管理和访问所有的文件元数据信息;1/0节点是运行1/0操作的服务器节点，负责系统中数据的存储和检索;计算节点是用来处理应用访问的节点，可以通过PVFS专有的hbpvfs接口库从底层访问PVFs服务器。

过程图,文件上传,过程,文件下载

图2.3FastDFS的文件上传过程Fig.23FileuPloadProeessofFastDFS2.4给出了FastDFS系统的文件下载过程。匹三奎巨三二芝二洲翔既化c沁谁眼1时m公夕例p帕服.冈川‘n舰，丫卜一.一一一~，~一一一冲-.一~一一~巾叭~_夕瞬节容‘甲翻她扩。间扭翩:厂、‘_一_、_，_，____‘*一，、、~，一二_确沪~6甘月簇，渭蓄钻山打取斌六蝴p彻服翻理ld6让晓翻m‘)斤扮C。目月c们笼图2.4FastDFS的文件下载过程

【引证文献】