海量存储系统的性能管理与监测方法研究

发布时间：2019-09-19 04:30

【摘要】：信息技术的不断发展使得现代社会环境下生产和生活过程中产生的各类信息和数据越来越多,对信息存储的容量要求也日益增大,存储系统的规模已经在向着PB以及更高级别的方向发展,海量存储系统就在这种条件下应运而生,它对数据实行条带化的分割方式,有效的对信息数据进行了组织和存储,良好充分的利用了设备的存储空间,同时采用并行化的文件系统和访问协议,能够在保证低开销和低延迟的情况下为外界提供强大的并发访问的能力。此外,为了保证数据和系统安全,还实现了信息备份和冗余。负载均衡以及数据迁移等功能。 我们需要实时了解海量存储系统的运行状态,因此需要设置一套监控系统来对它的节点和服务进行监视。海量存储系统有其自身的很多特点:首先是节点扩张,系统无法预料到什么时候在什么地方会有新的节点被加进来或者被移除出去,监控系统需要对节点的存在与否做到自动发现,其次是节点失效,单个节点的小概率事件在超大规模的海量存储系统中就会变得普遍存在,监控系统需要在节点发生故障时对系统进行报警,还要易于扩展,监控系统对海量存储系统中新加入的系统服务和状态能够及时的表现出来,此外还有低开销等要求,保证监控组件的运行不会占用太多的资源,不会影响到海量存储系统本身。经过深入考虑和对比,最终选择出了一个适用于海量存储系统的监控模型。 之后针对海量存储系统的实际情况,找到和发现模型自身还存在的缺陷和不足,从扩展性。可靠性。管理性。安全性。功能性。以及系统开销六大方面对模型进行了优化和改进,经过完善的模型可以为海量存储系统提供更加全面而且可靠的服务,系统节点组织更为方便,监控信息的存储与访问更加安全,系统功能更为强大,同时通过内部结构的优化使得监控系统造成的运行时开销可以进一步的减少,最后验证了模型的正确性,改进后的模型为海量存储系统的运行提供了一个可靠的保障。
【图文】：

图 2-1 海量存Figure 2-1 Framework上图即为海量存储系统的一个示意端为数据节点和管理节点 应用服务器给给管理节点，管理节点进行处理和查后将信息回馈给服务器，然后服务器就需要的数据和内容 这样做可以大大降时更加有效的利用节点的计算资源，提键也最重要的一个设计就是并行存储的访问协议两部分 并行文件系统将元数访问文件信息的时候才与元数据服务器据节点上进行，这就大大的减轻了元数来自外接的请求 同时它使得数据在存备存放一小部分的文件内容，这样做就实现并发的访问和读写，提高系统处理

图 2-2 海量存储系统访问协议Figure 2-2 Access Protocal of Mass Storage System数据冗余就是通常所讲的数据备份，一份数据在存储节点上不能只有一份拷贝，这样会存在丢失数据的风险 很多情况比如说节点失效或者数据遭到意外破坏的情况下就将造成永久的损坏而无法复原 因此，数据冗余就是将数据进行多个备份，备份的空间可以选择其他数据节点，同时可以将数据分散备份，这样不论哪个节点失效，受损的数据都可以最大限度的恢复过来，提高系统的可靠性 状态监测的意思是要在运行过程中实时监测海量存储系统的运行时状态，以便发现问题及时修正或者根据系统的运行情况作出合理的判断 监测项目一般包括系统 CPU 内存使用情况 节点空间利用率 tcp/ip 的连接等 状态监测是海量存储系统的一块很重要的内容，我们通过运行软件将实时数据收集起来，同时绘制成各种各样的图表，以方便系统管理员的查看，而且在系统出现故障或者运行不良时要发出报警通知管理员进行处理
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：TP333

【共引文献】

相关期刊论文 前2条

1 胡新海;;云存储数据缩减技术研究[J];长春工程学院学报(自然科学版);2012年02期

2 白英彩;金崇英;;海量存储系统的研究与应用[J];软件产业与工程;2010年05期

相关会议论文 前1条

1 赵晓南;李战怀;曾雷杰;张晓;;分级存储管理技术研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

相关硕士学位论文 前3条

1 朱俊洁;海量存储系统中高可用服务管理的设计与实现[D];上海交通大学;2011年

2 张夏添;基于IP-SAN的数字图书馆的实现[D];南昌大学;2012年

3 何磊;虚拟磁带库中重复数据删除技术的研究与设计[D];西南交通大学;2013年

，

本文编号：2537877