存储系统可靠性关键技术研究

发布时间：2018-04-11 10:23

本文选题：存储系统 + 可靠性　；参考：《华中科技大学》2013年博士论文

【摘要】：自图灵奖获奖者James Gray总结并提出“在当今网络应用环境下，每18个月新产生和增加的数据存储总量等于有史以来所有数据存储量之和”的经验定律以来，人们意识到数据正在呈爆炸性增长的趋势。作为数据的载体—存储系统已经在信息社会中得到了迅猛的发展。存储系统经常出现各种异常因素可导致故障的发生，更糟糕的是严重的故障会引起数据丢失和损坏。因此，随着数据量的不断增加和数据价值的不断提高，存储系统可靠性问题变得越来越重要，对影响存储系统高可靠性因素的关键理论和技术进行研究显得尤为迫切。各种可靠性技术已经在存储系统中得到应用。首先，使用冗余等技术可以提高存储系统的可靠性，当系统发生故障时，可以利用冗余信息进行数据重建。然而，在目前的技术条件下，系统的重建时间窗口非常长且会严重影响正常I/O性能，更严峻的问题是重建时间较长时，第二个磁盘出错的概率也较大，极易造成数据全部损毁。因此，为了减少重建的发生，提高和预测磁盘可靠度是一个值得研究的问题。其次，大量的实验分析表明高使用度的磁盘和高失效率之间有着高度的相关性，可以利用这种关系防止磁盘失效和数据丢失。因此，有必要对磁盘使用度概念进行探讨并结合其它方法对提高存储系统的可靠性进行研究。第三，统计表明，流行数据是影响存储系统可靠性的决定性因素，根据流行数据预测和利用它进行性能等优化的相关研究可知，利用和预测流行数据是提高存储系统可靠性的关键研究问题之一。最后，由于磁盘温度过高可以加剧磁盘失效，而磁盘温度升高最主要的原因是工作负载的增加。因此，调整和预测工作负载对磁盘温度进行控制是提高存储系统可靠性的一个研究方向。针对上述几个方面的关键问题进行了理论和实验研究，主要工作有：为了提高和预测磁盘的可靠度，提出了基于磁盘SMART技术的磁盘可靠度模型。根据磁盘SMART参数的实际值、阈值和属性值建立参数可靠度模型，通过理论研究讨论和实际测试分析选择出重要参数并确定重要参数的权重，根据参数可靠度和参数权重建立磁盘可靠度模型。通过分析SMART参数实际值发生变化的参数数量和参数权重情况确定磁盘可靠度预警阈值，，结合磁盘可靠度和磁盘可靠度预警阈值对磁盘可靠度级别进行了分类。依据模型设定的阈值，将低级别可靠度磁盘中的数据迁移至备份盘，从而提高存储系统的可靠性。为了利用和预测流行数据，给出了基于Zipf定律的数据流行度模型。该模型结合当前时刻所有数据访问频率的排名和数据访问频率在当前一段时间内的增速这两个已知参数，可以预测将来时刻这些数据新的访问频率排名情况。同时，对Zipf定律参数和C参数、预测将来时间以及流行数据队列长度等四个参数采用不同的方法进行了详细的估计。通过分类的流行数据特征对预测率进行了讨论和分析，并且结合不同的预测将来时间和流行数据队列长度两个模型参数分析了预测率高低的原因。对不同磁盘可靠度和磁盘使用度级别中的当前流行数据和将来流行数据采取不同的数据迁移等保护措施，从而提高存储系统的可靠性。为了合理的控制磁盘温度，以及预测磁盘工作负载，提出了基于Hurst指数的磁盘温度控制方法。该方法结合磁盘温度和工作负载之间的紧密关系，提出了一种利用Hurst指数计算I/O工作负载自相似性（H值）的方法，并且使用variance-time和R/S分析两种方法估计H值。通过计算得出的H值，可以预测出下个时刻的I/O负载。最终对当前时刻高温度磁盘以及预测的将来时刻高工作负载磁盘发出转移负载或关盘指令等保护措施，防止磁盘温度过高导致磁盘失效，从而提高存储系统的可靠性。为了验证磁盘可靠度、磁盘使用度、数据流行度和磁盘温度的解决方案效果，对基于SMART技术的磁盘可靠度模型、基于Zipf定律的数据流行度模型以及基于Hurst指数的磁盘温度控制方法进行测试与分析。同时，提出了基于磁盘可靠度、磁盘使用度和数据流行度以及基于磁盘温度和工作负载关系两种可靠性优化方法来提高存储系统可靠性。实验结果表明，这些技术和解决方案能够有效地提高存储系统的可靠性。
[Abstract]:......
【学位授予单位】：华中科技大学
【学位级别】：博士
【学位授予年份】：2013
【分类号】：TP333

【参考文献】