进化存储系统数据组织模式研究

发布时间：2021-12-31 08:28

　　用于网络环境下的企业级海量存储系统面临如下挑战:数字化信息爆炸性增长、数据的重要性和安全性日益增加、大数量的用户群和多媒体的应用对存取性能产生巨大压力、24×7的服务需求要求极高的可用性和可维护性。现有的技术如高性能存储磁盘阵列、附网存储、存储区域网等有着各自的优势同时有着自身的不足。问题存在的原因是现有存储系统物理和逻辑的组织是一种静态的结构,而静态组织结构模型不能很好地刻画处于不断变化之中的系统。这种结构往往只适合于特定的应用需要,而且缺少适应不断变化的存储要求的机制。为此,我们基于进化存储的概念及关键思想,将进化的策略化分为物理进化和逻辑进化,详细讨论了物理进化和逻辑进化实现的主要思路,对进化存储系统的硬件体系结构和软件结构进行了深入的研究,并指出为实现进化存储系统需要解决的四个问题。进化存储系统要求存储系统中数据的组织以及整个系统中各种不同属性数据的分布可以随着外在的数据流输入输出的变化而相应改变,以期获得最好的系统性能。为了实现此目标,需要获得在某一段时间内工作负载的分布形式,并预测未来某一段时间工作负载的分布形式。为解决这个问题,我们从两个方面入手:一是提出了基于连续度的I... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：127 页

【学位级别】：博士

【部分图文】：

异构阵列的分条示意图

在这个过程中，各个部件可以在线替换，不但不影响系统内部数据的可用性，而且还应该随着部件性能提高而获得整体性能的提升。图2.1 进化存储系统存储池逻辑结构图 2.1 说明了进化存储系统存储单元的逻辑结构图。根据本文的思路，将存储单元分成三个存储池：运行存储池，备用存储池和禁用存储池。系统对存储池中的每个存储设备进行检测，根据状态来决定存储设备不同状态的变迁，实现系统物理结构的进化。例如，当监控程序发现处于待机状态的存储设备的物理性能参数低于设定值时或不能工作时，就将该存储单元作禁用处理，并把该存储单元的状态改为禁用状态，转入禁用存储池，等待人工或机械更换；备用存储池中的处于待机态的存储单元的物理性能若大于或等于设定值时，且系统需要该存储单元提供存储服务，则将该存储设备的状态改为运行状态

今后的一段时间内存储节点（2）采用16KB的条带单元大小能够提供更好的性能，则存储节点（2）的条带单元大小会逐渐转换为16KB。图2.2 逻辑进化示意图当决策分析模块将优化策略传送给调节策略模块后，调节策略模块则根据 I/O 负载及分布分析模块所获得的 I/O 特征信息来预测系统的空闲时刻，并根据系统的状况采用合适的策略在系统空闲时刻对存储池中的存储节点进行调节。I/O 负载及分布分析模块和性能监测模块对外部的 I/O 请求和系统的性能进行实时监控，并将获取的信息传送给进化规则模块。进化规则模块同样根据获取的信息得到一个或多个系统优化调节策略，发送给决策分析模块。决策分析模块将以前的优化策略所产生的结果与现阶段的优化策略进行对比，从中选择出更适合优化系统性能的策略。这样不断的根据外部请求特征和系统的性能进行调整，使系统的性能能够不断的适应外部的请求，以

【参考文献】：
期刊论文
[1]异构盘阵中最优Stripe Unit Size选择技术[J]. 刘军,杨学军,唐玉华,王勇献.  计算机学报. 2004(06)
[2]高性能磁盘阵列I/O服务时间的分析[J]. 陈琼,张江陵.  小型微型计算机系统. 2000(03)



本文编号：3559939