基于S.M.A.R.T.预测故障磁盘的研究

发布时间：2017-06-28 10:02

  本文关键词：基于S.M.A.R.T.预测故障磁盘的研究，由笔耕文化传播整理发布。

【摘要】：近年来,云计算技术得到迅猛发展,给诸多企业带来商业模式的转变,也给个人带来工作方式的改变。但是,不断发生的云安全事故,常常造成数据丢失的严重后果,给企业和个人带来严重的损失,也阻碍了云计算的广泛推广使用。云计算的安全性和可靠性成为企业和个人关注的焦点。确保数据不丢失,必须首先关注云存储的安全。云存储是云计算的基础,其核心是磁盘。随着磁盘制造工艺进步,磁盘发生故障的概率越来越低。但是,由于云存储中磁盘的数量规模是极其庞大的,云环境下的磁盘故障依然是多发的。磁盘故障多发使用户数据面临风险,磁盘故障率极低又使得故障磁盘的预测和运维人员的维护变得极为困难。自我监测、分析及报告技术(S. M. A. R. T.)是ATA标准规定的各磁盘厂商必须遵循的标准条件之一。它通过监控磁盘运行时的电机、磁头、温度等状态信息,并与磁盘厂商设定的安全阈值相比较来判断磁盘的健康状况。当判断有故障发生时,能自动向用户发出警告,部分甚至会进行简单的自动修复,如自动降速和备份数据等。目前,基于S. M. A. R. T.的阈值判定方法是磁盘厂商普遍采用的故障磁盘预测方法。但是,采用该方法时,故障磁盘的检测率通常为3-10%,故障磁盘检测率过低,实际预警效用不大。当前,基于S. M. A. R. T.预测故障磁盘的研究较少,已建立的模型均基于磁盘厂商的S. M. A. R.T.数据和其它环境等数据,难以应用于实际的用户集群的磁盘故障预测。本文基于实际的用户观测数据,仅仅利用S. M. A. R. T.信息,建立有效的故障磁盘预测模型。本文的主要工作总结如下：(1)研究了磁盘S. M. A. R. T.技术,分析了基于磁盘S. M. A. R. T.数据的故障磁盘预测方法及其研究现状。(2)实现了实际云计算平台的磁盘S. M. A. R. T信息的采集和预处理。(3)利用磁盘维修记录将磁盘状态分类为“正常”和“24小时内即将发生故障”。故障磁盘定义为确认需要进行维修更换的磁盘,确认的时间即为故障发生的时间。(4)针对磁盘实际故障率极低,实验对象是极不平衡的数据集的情况,提出了一种混合的故障磁盘预测方法DKSS。该方法基于实际用户集群的磁盘S. M. A. R. T.数据,综合了聚类、重采样和集成分类器等方法。该方法在模型训练阶段首先通过聚类和重采样来重构数据集,以平衡正负两类样本,再利用支持向量机方法训练学习子分类器,最后对子分类器的预测结果进行投票集成。在模型预测阶段,首先利用聚类方法来缩小样本规模,再利用集成分类器进行预测。(5)采用DBSCAN、K-means、SMOTE和SVM等方法实现了DKSS模型,并对模型的有效性进行了实验验证和预测性能分析。本文的创新点在于：(1)基于实际用户环境,仅仅利用S. M. A. R. T.数据来预测故障磁盘。(2)提出了DKSS混合策略,并应用于故障磁盘预测。实验证明,该方法具有较好的预测性能,并具有较强的泛化能力。
【关键词】：磁盘故障预测 S.M.A.R.T. SVM DBSCAN K-means
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要3-5
• Abstract5-9
• 1 绪论9-14
• 1.1 问题背景9-10
• 1.2 磁盘故障预警技术10-12
• 1.3 本文工作与论文组织12-13
• 1.4 本章小结13-14
• 2 异常检测技术研究现状14-20
• 2.1 异常检测问题定义14
• 2.2 异常检测的应用14-15
• 2.3 现有异常检测技术15-19
• 2.3.1 基于统计的方法16-17
• 2.3.2 基于聚类的方法17-18
• 2.3.3 基于近邻的方法18
• 2.3.4 基于分类的方法18-19
• 2.4 本章小结19-20
• 3 磁盘S.M.A.R.T.技术20-26
• 3.1 S.M.A.R.T.技术简介20
• 3.2 S.M.A.R.T.监测属性20-25
• 3.3 S.M.A.R.T.应用现状25
• 3.4 本章小结25-26
• 4 DKSS混合策略算法26-40
• 4.1 引言26
• 4.2 DKSS混合策略中的相关子算法26-36
• 4.2.1 支持向量机26-35
• 4.2.2 DBSCAN算法35-36
• 4.2.3 K-means算法36
• 4.3 DKSS算法36-39
• 4.4 本章小结39-40
• 5 基于DKSS混合策略的磁盘故障检测技术40-59
• 5.1 实验数据40-45
• 5.1.1 数据采集40-44
• 5.1.2 数据集划分44-45
• 5.2 实验环境和性能评价标准45-46
• 5.2.1 实验环境45
• 5.2.2 性能评价标准45-46
• 5.3 数据预处理46-47
• 5.3.1 特征选择46
• 5.3.2 数据清洗46-47
• 5.3.3 数据变换47
• 5.4 模型训练47-51
• 5.5 模型验证51-52
• 5.6 实验结果和性能评价52-58
• 5.6.1 实验结果52-54
• 5.6.2 实验性能评估54-58
• 5.7 本章小结58-59
• 6 总结与展望59-61
• 6.1 总结59
• 6.2 展望59-61
• 参考文献61-68
• 致谢68-69
• 附件1 硕士生期间参与的科研项目69-70
• 附件2 硕士生期间发表和录用的论文70-71

【相似文献】

中国期刊全文数据库 前1条

1 张狄;;“聪明”的硬盘——谈S.M.A.R.T.技术[J];每周电脑报;1997年49期

中国重要报纸全文数据库 前1条

1 山东 王琨;《谁动了硬盘的S.M.A.R.T.》补遗[N];电脑报;2004年

中国硕士学位论文全文数据库 前1条

1 宋云华;基于S.M.A.R.T.预测故障磁盘的研究[D];南京大学;2014年

  本文关键词：基于S.M.A.R.T.预测故障磁盘的研究，，由笔耕文化传播整理发布。

本文编号：493393