海量存储资源海量存储资源管理关键技术研究

发布时间：2020-06-16 03:27

【摘要】：随着科学技术的发展,以计算为核心的信息系统正逐步向以数据为核心转移,人们对信息中心的称谓从“计算中心”、“网络中心”到“数据中心”,形象地表明了处理、传输和存储这三个要素在信息设施中的比重随时间而变化的趋势。然而,相比于计算和传输,存储始终是计算机系统的性能瓶颈所在,而海量存储资源管理则是影响存储系统性能的一个重要因素。 围绕网络环境下海量存储资源管理这一主题,分三个方面进行研究。首先,针对海量异构存储资源管理中存储节点数量庞大,设备协议种类繁多,网络构成复杂多样等一系列问题,提出一种使用虚拟化策略进行高效存储管理的方法,并在块级设计实现了带外虚拟化的方案和系统原型。然后,针对原型系统的性能优化问题,提出一种基于任务排队合并的多用户请求调度优化算法。仿真实验表明,该算法可使存储系统的I/O请求响应能力显著提高。最后,将海量存储资源管理的研究背景拓展到广域网环境下,结合广域网中数据的新特性,提出一种集存储管理、元数据管理和文件服务于一体的广域网存储资源管理架构,并建立随机Petri网(Stochastic Petri Nets,SPN)模型对其进行了性能分析。 以过往研究工作为基础,经过理论分析与实际研发,取得成果如下。针对海量异构存储系统中多样的存储资源和复杂的存储网络构成,提出一种使用虚拟化策略进行高效存储管理的方法。对海量异构存储资源进行规范化描述,以支持海量异构存储资源的发现、资源信息的维护和资源状态的监测,形成在这些存储资源上进行虚拟化管理的基础。在块级设计实现带外虚拟化的方案,实现对应用和管理透明的统一存储池模型;在文件级研制对应用透明的存储访问代理、提出一种命名空间聚合和重定向技术,进而综合上述方法实现对海量异构存储资源的统一管理与访问。针对实际应用环境中存储资源管理机制高度复杂化的挑战,提出一种使用虚拟化策略进行高效管理的方法,使用开放式的虚拟化策略语言和相关软件联动实现所管理存储资源的动态、按需分配。 I/O请求调度算法的优劣是影响存储系统性能的一个重要因素。针对多用户I/O请求的特征,提出一种基于任务排队合并的多用户请求调度优化算法。通过对多个网络用户的I/O请求任务进行排队,使排队后各I/O请求的数据在逻辑盘上按一定的顺序分布,并对那些数据分布连续的用户请求进行任务合并,那么排队合并后进行数据访问,可以使磁盘的磁头臂按照一定的规律移动,使寻道时间和旋转延迟显著减小,从而降低请求的平均响应时间,提高存储系统的整体I/O性能。另一方面,该算法将“任务排队合并”和“插队”机制相结合,兼顾了系统的高性能和单个请求的响应时间,消除了“饥饿”现象。 以IPv6为代表的下一代互联网极大地扩展了网络用户,不仅对数据的需求多种多样,而且在可用性、可扩展性、可维护性、安全性等方面提出了更高的要求,同时要求信息在产生、发布、共享和传播的过程中能有效利用。针对下一代互联网的这些特点,对存储系统的存储管理、元数据管理、存储空间的高效利用、数据的快速传递等问题进行研究,构建了一种面向下一代互联网的广域网存储管理架构。广域网存储管理架构采用了多层次、可扩展的分布式存储模式,将多种异构的存储子系统作为基本的存储节点通过网络接口直接接入下一代互联网,建立存储节点与用户间的直接数据传输,实现扩容与增速同步,保证服务器与存储节点、存储节点与存储节点间高效的控制和数据管理。其存储管理遵循SMI-S的管理规范,可以在广域网存储系统中提供标准化的通信方式。智能化的元数据管理方法,保证了存储系统的服务质量和存储空间的高效利用。创新性的设计了广域网存储中间件,来处理复杂网络环境下的数据传输问题,兼顾了广域网数据传输的高速和安全。
【学位授予单位】：华中科技大学
【学位级别】：博士
【学位授予年份】：2011
【分类号】：TP333
【图文】：

华 中 科 技 大 学 博 士 根据 SNIA(Storage Networking IndustryAssociation从不同角度进行分类[50]。按照虚拟化的对象分类，、磁带虚拟化、文件系统虚拟化和文件/记录虚拟类，可以分为基于主机/服务器的虚拟化、基于网统的虚拟化；按照虚拟化的实现方式分类，可以分2]。如图 1.1 所示。（1）块虚拟化。众所周知，容量、性能和可靠性在容量方面，对物理存储设备来说，容量对应于设；但是从应用的角度来看，应用程序并不关心这些需求，并考虑潜在的数据增长就可以。在性能方面寻道时间和旋转延迟（以磁盘为例）、缓存大小以

图 1.3 SMI-S 结构和工作原理理：在目前的存储环境中，基于服务器的卷管理系统等都是比较常见的存储系统，为此 SMI-S 包含了系统协同工作的设计。储管理系统共存：SMI-S 可以与现有存储系统的管代理的方式与各类存储设备通过原设备的接口进行通过嵌入方式和 CIM 对象管理器将某些设备和子SMI-S 代理能够向存储网络自动报告存储设备的接 模型中的自动发现机制相结合，可以自由的向 SAN

【引证文献】

相关期刊论文 前1条

1 陈瑞;;存储虚拟化研究与应用[J];价值工程;2013年03期

相关硕士学位论文 前2条

1 余宝柱;数字视音频技术的研究及在智能社区中的应用[D];浙江工业大学;2013年

2 李顶;基于重定向框架的快照设计与实现[D];华中科技大学;2013年

本文编号：2715463