基于改进的模糊时间序列预测模型的HDFS副本选择策略

发布时间：2019-10-03 02:23

【摘要】：随着公安机关大数据计算和警务云平台的建设、推广,云存储改变了以往数据本地存储和处理的传统模式,能够通过网络根据需求快捷访问计算与存储等服务。为了满足云存储系统的动态性、复杂性以及实时性的要求,本文提出了基于改进的模糊时间序列预测模型的HDFS副本选择策略。对模糊时间序列预测模型进行改进,利用改进后的模糊时间序列预测模型对副本读取时间进行预测,并在hadoop平台的数据访问实验,证明了改进后的模糊时间序列预测模型相比于经典模型能够较好地刻画云存储数据副本读取时间的变化,并在数据访问耗时方面有明显的性能提升。
【图文】：

序列,副本,测算法,时间序

２０１６邋（４）逦莫文导等：基于改进的模糊时间序列预测模型的ＨＤＦＳ副本选择策略逡逑由于网络状态、磁盘１０速度、并发访问数逦经调整后的模糊时间序列预测算法流程如逡逑等因素均会对副本响应时间产生影响，云存储邋图１所示。首先，选取最小样本数据作为训练逡逑环境下，长期的数据特征稳定性较差，经典模逦数据，其中，应根据不同系统规定的最小样本逡逑糊时间序列预测模型并不适合对副本响应时间逦个数，选取符合系统预测要求的样本数量。其逡逑进行长期预测，因此，该模型的预测应用重点逦次，对训练数据做预处理，剔除对预测结果影逡逑应放在副本响应时间短期预测上。逦响较大的离群数据；接着定义样本论域并划分逡逑将ＨＤＦＳ集群的副本响应时间历史数据窗逦模糊区间。与经典模型不同，调整后的模糊时逡逑口定义为识，大小为｜叫＝＆，＆个时刻上的时逦间序列预测算法根据ＬＥＭ２规则６来生成模糊逡逑间序列为抑）＝｛４Ｗ４…，yU养由于数据逻辑关系矩阵，并给出最后的预测结果’随后执逡逑离群点（Ｏｕｔｌｉｅｒ）会影响到确定论域、划分模行论域动态调整过程（丨“Ｕ论域动态调逡逑糊区间等过程，导致预测准确性降低，因此确邋Ｓ邋｝°逡逑定论域前，需预先剔除捕获训练数据的离群点。逦ｌｉＴ逡逑本文使用３0？准则剔除离群点，设历史数据逡逑窗口为妒，数据平均值为无，标准差为0■，如逦一否逡逑果取的观测值中有，，似满足以下条件：逡逑⑷＜无－３0？或者＋３ａ邋，则将满足条件逦剔ｉ离点：逡逑的％（？）作为离群点进行剔除预处理。如将预处逦Ｉ温}牎咤澹謓,＆逡逑理操作后的时间序列表示为：逦「Ｉ逡逑『’（0＝｛．＂，２＾？），．．，１＾），．．＿丨，则历史数据窗逦素逡逑口『上的论域为Ｗ邋＝［ｍｉｎ

序列,模糊时间序列,模型预测,经典

２０１６邋（４）逦莫文导等：基于改进的模糊时间序列预测模型的ＨＤＦＳ副本选择策略逦逡逑幼－逦丨：＾由图可知，经过３０次的副本读取比较，重新逡逑Ｊ邋丨一}笔奔溴紊杓频哪：奔湫蛄性げ饽Ｐ脱∪「北径寥∈奔溴义希挝保埃梗常罚螅人婊≡窀北舅姆咽奔溴义县А㈠危ǎ保担埃矗玻螅┘跎倭耍矗保埃担蟮氖奔洌骄鵮胃龈北窘阱义希矗浚蝈危诲澹慑澹慑问》梦适奔湓迹保常罚螅得髦匦律杓频哪：奔溴义希剩叔危彦危慑澹埽赍澹苠涡蛄性げ饽Ｐ偷母北痉梦市阅艿玫搅擞行嵘ｅ义希村褰嵊镥义希湾濉危妫徨义希垮危玻板危玻靛危常板伪疚恼攵裕龋模疲釉诙寥∥募彼捎玫母卞义贤迹尘坪奔湫蛲葱驮げ鈺苠伪狙≡癫呗缘牟蛔悖跃淠：奔湫蛄性げ忮义夏Ｐ徒辛耸实钡髡岢隽嘶谀：奔湫蝈义希危蓿撸咤瘟性げ饽Ｐ偷母北狙≡癫呗裕⑼ü龋幔洌铮铮鸺义希垮危垮呜浜溴稳荷夏Ｄ馐笛榛肪常橹ち嘶诟慕哪：卞义希垮危保苠渭湫蛄性げ夥椒ㄓτ迷冢龋模疲痈北狙≡癫呗藻义希唬卞问保梢愿玫靥逑殖鲇没Ф寥∈莸墓媛慑义希垮危煎澹慑澹脲涡裕竦酶玫氖莘梦市阅埽邮屎显拼驽义希保危掊危危椋瑁戾澹。埽苠未⑾低郴肪诚露げ獾男枨蟆ｅ义蠎问垮尾慰嘉南祝哄义希掊巍鲥澹卞澹卞逍卞危湾澹诲危郏戾澹蒎澹樱铮睿纾澹眩澹幔睿溴澹拢樱澹茫瑁椋螅螅铮恚澹疲铮颍澹悖幔螅簦椋睿珏澹澹睿颍铮欤欤恚澹睿簦箦义蟸|ｂｉ间序列逦ｗｉｔｈ邋ｆｕｚｚｙ邋ｔｉｍｅ邋ｓｅｒｉｅｓ—ｐａｒｔ邋Ｉ．邋Ｆｕｚｚｙ邋ｓｅｔｓ邋ａｎｄ邋ｓｙｓｔｅｍｓ，逡逑图４经调整的模糊时间序列模灥测曑逦［２］邋ＴｉＴＬＣｓ
【作者单位】：广东省公安厅科技信息化处;
【分类号】：TP333

【相似文献】