大规模磁盘故障预测方法研究
发布时间：2021-01-12 16:23
大规模存储系统中磁盘故障预测至关重要,一旦磁盘损坏信息丢失,将会给企业带来无法挽回的损失。基于磁盘运行数据,使用机器学习方法进行磁盘故障预测,目前已可得到较好的预测效果。但由于S.M.A.R.T属性对故障表征能力的局限性,仅含单个时间点的信息导致预测效果不佳。在磁盘故障预测问题中,目前预测的召回率和误报率无法达到工业级应用水平。文章将时序信息引入磁盘预测模型,提出时序随机森林的磁盘故障预测方法,包括数据时序特征处理和时序模型的优化。时序特征处理部分,提出数据时序分配策略,将时序数据按照时间动态分配到训练集、验证集与测试集;提出时序特征处理算法,将S.M.A.R.T属性的变化值拓展到模型特征中。预测模型优化部分,提出随机森林决策树时序权重投票算法,基于样本数据的时序特征,对随机森林中的不同决策树初始化不同权重,使用均值和方差进行时序数据的拟合;提出负反馈更新模型,在随机森林中引入后验决策树;基于历史预测数据加入负反馈信息,提出决策树权重更新算法。基于上述研究,设计并开发了数据中心的磁盘故障预测原型系统,包括磁盘数据采集子系统、磁盘故障预测子系统、磁盘巡检子系统与中心监控子系统,现已部署在...
【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】：82 页
【学位级别】：硕士
【部分图文】：
随机森林逻辑架构图
图 2-2 Verify12 指令结构图图 2-3 Verify16 指令结构图发起者通过向设备发送磁盘巡检指令，控制设备进行逻辑块的检查。每一个逻辑块的检查，包含用户数据和其他的保护信息两部分，基于发起者对 VRPROTECT字段的填写格式。其中 LBA 为待巡检的目标扇区起始地址，LENGTH 为待巡检的长
16图 2-3 Verify16 指令结构图发起者通过向设备发送磁盘巡检指令，控制设备进行逻辑块的检查。每一个逻辑块的检查，包含用户数据和其他的保护信息两部分，基于发起者对 VRPROTECT字段的填写格式。其中 LBA 为待巡检的目标扇区起始地址，LENGTH 为待巡检的长度，我们可通过对设备下发 SCSI 命令时，修改指令结构中命令控制块的数据段部分，对磁盘下发不同的巡检长度。2.4.2 磁盘巡检应用在磁盘巡检时，对系统前台的 I/O 有一定的影响[30]，不同的巡检参数对前台 I/O的影响有所不同。巡检一般希望对前台的影响不要过大，所以会设置相应的检查频
【参考文献】：
期刊论文
[1]决策树C4.5算法改进与应用[J]. 陈杰,邬春学. 软件导刊. 2018(10)
[2]ID3改进算法研究[J]. 杨霖,周军,梅红岩,杜晶鑫. 软件导刊. 2017(08)
[3]ID3算法的优化[J]. 朱琳,杨杨. 软件. 2016(12)
[4]面向磁盘故障预测的机器学习方法比较[J]. 董勇,蒋艳凰,卢宇彤,周恩强. 计算机工程与科学. 2015(12)
[5]决策树中ID3算法的研究[J]. 王永梅,胡学钢. 安徽大学学报(自然科学版). 2011(03)
[6]一种改进的C4.5算法及实验分析[J]. 刘佳,王新伟. 计算机应用与软件. 2008(12)
博士论文
[1]分布式存储系统中基于纠删码的容错技术研究[D]. 朱云锋.中国科学技术大学 2014
[2]存储系统可靠性关键技术研究[D]. 杨寅.华中科技大学 2013
[3]高维数据的维数约简算法研究[D]. 苏雅茹.中国科学技术大学 2012
[4]大规模存储系统高可靠性关键技术研究[D]. 罗东健.华中科技大学 2011
[5]磁盘存储系统可靠性技术研究[D]. 刘军平.华中科技大学 2011
[6]磁盘阵列的纠删码技术研究[D]. 李明强.清华大学 2011
[7]盘阵列的数据布局技术研究[D]. 毛波.华中科技大学 2010
[8]磁盘阵列高可用技术研究[D]. 吴素贞.华中科技大学 2010
硕士论文
[1]基于SVDD特征选择的随机森林高分辨率遥感影像变化检测[D]. 刘波.兰州交通大学 2018
[2]基于深度学习的磁盘健康度评估与故障预测技术研究[D]. 兰云龙.杭州电子科技大学 2017
[3]大数据环境下数据容错技术研究与实现[D]. 吴庆民.中国科学院大学(工程管理与信息技术学院) 2016
[4]基于机器学习的磁盘故障预测系统[D]. 柳永康.华中科技大学 2015
[5]基于S.M.A.R.T.预测故障磁盘的研究[D]. 宋云华.南京大学 2014
[6]基于分布式的决策树方法研究[D]. 廖玉兰.电子科技大学 2011
[7]基于智能预警和自修复的高可靠磁盘阵列关键技术研究[D]. 胡维.国防科学技术大学 2010
[8]高性能磁盘阵列自修复技术研究[D]. 张超.国防科学技术大学 2008
本文编号：2973116
【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】：82 页
【学位级别】：硕士
【部分图文】：
随机森林逻辑架构图
图 2-2 Verify12 指令结构图图 2-3 Verify16 指令结构图发起者通过向设备发送磁盘巡检指令，控制设备进行逻辑块的检查。每一个逻辑块的检查，包含用户数据和其他的保护信息两部分，基于发起者对 VRPROTECT字段的填写格式。其中 LBA 为待巡检的目标扇区起始地址，LENGTH 为待巡检的长
16图 2-3 Verify16 指令结构图发起者通过向设备发送磁盘巡检指令，控制设备进行逻辑块的检查。每一个逻辑块的检查，包含用户数据和其他的保护信息两部分，基于发起者对 VRPROTECT字段的填写格式。其中 LBA 为待巡检的目标扇区起始地址，LENGTH 为待巡检的长度，我们可通过对设备下发 SCSI 命令时，修改指令结构中命令控制块的数据段部分，对磁盘下发不同的巡检长度。2.4.2 磁盘巡检应用在磁盘巡检时，对系统前台的 I/O 有一定的影响[30]，不同的巡检参数对前台 I/O的影响有所不同。巡检一般希望对前台的影响不要过大，所以会设置相应的检查频
【参考文献】：
期刊论文
[1]决策树C4.5算法改进与应用[J]. 陈杰,邬春学. 软件导刊. 2018(10)
[2]ID3改进算法研究[J]. 杨霖,周军,梅红岩,杜晶鑫. 软件导刊. 2017(08)
[3]ID3算法的优化[J]. 朱琳,杨杨. 软件. 2016(12)
[4]面向磁盘故障预测的机器学习方法比较[J]. 董勇,蒋艳凰,卢宇彤,周恩强. 计算机工程与科学. 2015(12)
[5]决策树中ID3算法的研究[J]. 王永梅,胡学钢. 安徽大学学报(自然科学版). 2011(03)
[6]一种改进的C4.5算法及实验分析[J]. 刘佳,王新伟. 计算机应用与软件. 2008(12)
博士论文
[1]分布式存储系统中基于纠删码的容错技术研究[D]. 朱云锋.中国科学技术大学 2014
[2]存储系统可靠性关键技术研究[D]. 杨寅.华中科技大学 2013
[3]高维数据的维数约简算法研究[D]. 苏雅茹.中国科学技术大学 2012
[4]大规模存储系统高可靠性关键技术研究[D]. 罗东健.华中科技大学 2011
[5]磁盘存储系统可靠性技术研究[D]. 刘军平.华中科技大学 2011
[6]磁盘阵列的纠删码技术研究[D]. 李明强.清华大学 2011
[7]盘阵列的数据布局技术研究[D]. 毛波.华中科技大学 2010
[8]磁盘阵列高可用技术研究[D]. 吴素贞.华中科技大学 2010
硕士论文
[1]基于SVDD特征选择的随机森林高分辨率遥感影像变化检测[D]. 刘波.兰州交通大学 2018
[2]基于深度学习的磁盘健康度评估与故障预测技术研究[D]. 兰云龙.杭州电子科技大学 2017
[3]大数据环境下数据容错技术研究与实现[D]. 吴庆民.中国科学院大学(工程管理与信息技术学院) 2016
[4]基于机器学习的磁盘故障预测系统[D]. 柳永康.华中科技大学 2015
[5]基于S.M.A.R.T.预测故障磁盘的研究[D]. 宋云华.南京大学 2014
[6]基于分布式的决策树方法研究[D]. 廖玉兰.电子科技大学 2011
[7]基于智能预警和自修复的高可靠磁盘阵列关键技术研究[D]. 胡维.国防科学技术大学 2010
[8]高性能磁盘阵列自修复技术研究[D]. 张超.国防科学技术大学 2008
本文编号：2973116
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2973116.html
