海量存储系统中高可用服务管理的设计与实现

发布时间：2020-10-12 20:16

　　 由于传统互联网业务,网络多媒体以及新兴的网络存储,网络游戏,物联网等高速发展,人类对数据的需求飞速增长。比如医药行业,医疗影像数据的以每年15%-20%的速度增长,未来10-15年,影像数据将达到PB级;另外媒体,金融等行业的数据成长速度也非常惊人,随着数据需求的持续高速发展,PB级存储服务迫在眉睫。据赛迪顾问的研究分析显示,2009年中国存储领域的市场需求高达73.8亿美元,并且每年以将近18.5%的平局速度增长。 几乎所有应用都需要集群能够提供时间上不间断的服务,集群的高可用性就是指不论在主动地备份,系统升级,维修,配置更改,还是被动的硬件出错,断电,网络失败等情况下,集群就能够持续提供服务,或是使宕机时间减小至最少。 本课题的研究目标是针对基于对象的并行海量存储系统,设计与之相适应的高可用性保障方案,使得海量存储系统同能够持续稳定的提供存储服务。在系统出现故障时能够迅速的自我恢复,尽量减少系统服务中断时间。课题对最重要的管理服务器以及数据服务器高可用方案进行了实现和描述了具体实现机理,并进行了测试,实验结果表明方案能够满足海量存储系统中对管理服务器以及数据服务器高可用性需求。 首先论文结合国内外研究状况、产品现状对网络存储系统架构的基本模型与发展进行了研究分析,并对传统集群高可用性保障技术进行了总结研究,包括了磁盘数据可用性,集群网络可用性,集群服务器可用性等多个方面。 在网络存储分析的基础上,论文探索了传统海量存储系统以及更新的基于对象的并行海量存储系统的系统架构特征,研究了新型基于对象存储模型的并行存储系统相对于传统NAS独立存储集群架构以及SAN共享存储架构的性能以及扩展性上的优势。并对基于对象存储模型的并行海量存储系统系统架构以及机理进行了详细的分析。 针对海量存储系统的特点设计了与之相应的高可用性保障方案。采用RAID 5方案对磁盘数据进行冗余;通过交换机双引擎等方式来进行单点设备的可用性进行提升;通过交换机冗余、路由器冗余,电源系统冗余,端口冗余,双绞线冗余,光纤冗余等来保障网络的高可用性;通过主从备份、多机互备方式来分别保障管理服务器、数据服务器的高可用性等。 对服务器高可用性保障方案进行了实现,通过开源心跳监测软件以及服务器资源管理软件来对服务器进行监控以及对服务的进行开启关闭,服务迁移等管理。在虚拟机环境中搭建了实验环境,通过对管理服务器与数据服务器的宕机测试,当服务器宕机时一般需要5-6秒的时间来恢复服务,这样的时间基本能够保证服务器的可用性。
【学位单位】：上海交通大学
【学位级别】：硕士
【学位年份】：2011
【中图分类】：TP333
【部分图文】：

图 2-1 DAS 架构图Figure 2-1 DAS Architecture直连式存储主要服务器主机操作系统进行数据的读写和维护管理，数据备份和恢复要求占用服务器主机资源（包括 CPU、系统 IO 等），数据流需要回流主再到服务器连接着的磁带机（库），数据备份通常占用服务器主机资源 20-30%因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行，以免影响正常业务系统的运行。直连式存储的数据量越大，备份和恢复的时间就越长对服务器硬件的依赖性和影响就越大。DAS 这种直连方式，能够解决单台服务器的存储空间扩展、高性能传输等需求。单台外置存储系统的容量，已经发展到了 2TB，随着更大容量硬盘的推出单台外置存储系统容量还会继续上升。DAS 还可以构成基于磁盘阵列的双机高可用系统，满足数据存储对高可用的要求。从趋势上看，DAS 仍然会作为一种存模式，并且继续得到应用。但由于这种存储技术是把设备直接挂在服务器上，着需求的不断增大，越来越多的设备添加到网络环境中，导致服务器和存储独

图 2-2 NAS 架构图Figure 2-2 NAS Architecture存储子系统可以采用存储区域网络 SAN、直接连接存储 DAS。 SAN 和 DAS 构方式需要通过存储集群来管理后端存储介质，并以 SAN 文件系统或集群文件统的方式为 NAS 集群提供标准文件访问接口。对于 SAN 和 DAS 架构，NAS 集群时承担元数据和 I/O 数据访问功能。从 1996 年开始，NAS 就成为网络存储的最佳存储方案之一，NAS 可以应用任何网络环境当中，客户端可以在 NAS 上存储区任意格式的文件，包括了 SMNFS(LINUX、WINDOWS 等操作系统协议)、CIFS（LINUX、WINDOWS、UNIX 等操作统协议)等。HP 的网络连接存储方案包括：高端的 HP StorageWorks NAS 8000、StorageWorks NAS 9000s 可以实现各种数据库、Web 服务器和电子邮件的互操性，使得系统更具灵活性。还能够以 530Mb/s CIFS 和 10000 iops NFS 的速度供文件服务，实现最短的客户端响应时间,可以将存储增加到 15.4TB，为了保

第 10 页图 2-3 SAN 架构图Figure 2-3 SAN ArchitectureIBM FAStT200 是针对那些需要外部存储解决方案的工作组和部门级服务器而设计的。单控制器型号提供了一种经济的解决方案，FAStT200 高可用性（HA）型号的特点则是通过双活动控制器实现完全冗余配置。随着存储需求的增长，您可以通过添加 IBM FAStT EXP500 或 EXP700 扩展单元轻松地扩展存储容量。它是针对工作组和部门级服务器提供经济的 RAID 存储解决方案，从主机连接到磁盘驱动器，完全集成了光纤通道技术，通过使用可热插拔的冗余组件帮助获得高
【相似文献】

相关期刊论文 前10条

1 陈臻;冷昊;;海纳百川——人人网海量存储系统Nuclear开发手记[J];程序员;2010年09期

2 王博;李先国;张晓;;Lustre文件系统的性能优化研究[J];微型电脑应用;2011年05期

3 杨雷;李先国;张晓;;通用存储网络系统的能耗研究[J];计算机工程;2011年18期

4 Amy;;湖北中烟信息化服务负载均衡保障[J];信息方略;2010年23期

5 祝晓东;郁松年;易松;;对象存储系统的镜像快速复制研究[J];计算机工程与设计;2011年07期

6 ;艾默生户外基站解决方案入选“2010中国通信业百个成功解决方案”[J];电信网技术;2011年08期

7 杨宏宇;林峰;;云时代下IDC建设的实践与思考[J];广播与电视技术;2011年07期

8 孟坛魁;马迎;;中国人民大学:独立无线网的管理之道[J];中国教育网络;2011年08期

9 余军;王宝华;;网站后端应用系统架构优化[J];新闻前哨;2011年07期

10 张为;;容灾的前世今生[J];信息化建设;2011年07期

相关博士学位论文 前10条

1 吴伟;海量存储系统元数据管理的研究[D];华中科技大学;2010年

2 王宇德;海量存储系统中数据分布化及其关键技术的研究[D];华中科技大学;2010年

3 王宇德;海量存储系统中数据分布进化及其关键技术的研究[D];华中科技大学;2010年

4 邓玉辉;基于网络磁盘阵列的海量信息存储系统[D];华中科技大学;2004年

5 谢旻;高可用MPI并行编程环境及并行程序开发方法的研究与实现[D];国防科学技术大学;2007年

6 刘群;基于可扩展对象的海量存储系统研究[D];华中科技大学;2006年

7 陈研;面向有状态应用的并行系统设计研究[D];上海交通大学;2007年

8 赵振;一种自适应海量存储系统组织策略及关键技术研究[D];华中科技大学;2006年

9 钱迎进;大规模Lustre集群文件系统关键技术的研究[D];国防科学技术大学;2011年

10 李超;面向海量数字资源管理的FC-SAN性能分析与监测[D];清华大学;2006年

相关硕士学位论文 前10条

1 朱俊洁;海量存储系统中高可用服务管理的设计与实现[D];上海交通大学;2011年

2 李超;海量存储系统的性能管理与监测方法研究[D];上海交通大学;2012年

3 贾昭元;海量存储系统集群部署研究[D];上海交通大学;2012年

4 吴婷;海量存储系统中元数据管理机制的研究[D];江苏大学;2010年

5 宋丽娜;海量存储系统中数据分级存储的关键技术研究[D];国防科学技术大学;2011年

6 韩振华;基于LVS技术的高可用网络系统分析与设计[D];河海大学;2005年

7 刘彦锋;基于Linux下的高可用集群系统[D];吉林大学;2004年

8 徐伟;网络存储在高校数字图书馆的设计与实现[D];南昌大学;2010年

9 王皓;BlueOcean海量存储系统客户端的设计与实现[D];上海交通大学;2011年

10 闫鹤;海量存储系统Web代理服务器的设计与实现[D];上海交通大学;2012年

本文编号：2838223