基于强化学习的网络流量非线性多步预测方法

发布时间：2019-07-25 20:13

【摘要】：网络流量具有分形特性,用线性方法来预测非线性的网络流量,预测精度不高。为了提高测性能,提出了网络流量的非线性多步预测问题,利用一种结合分形神经网络、强化学习的非线性多步预测方法,用多重分形性质将网络流量序列分解为短相关序列,设计了一种强化学习神经网络(MRLA)流量预测模型,利用强化学习的Q算法训练BP神经网络,预测尺度系数、计算权值,最后构建MRLA网络进行仿真,预测网络流量。实验分析显示,相对MMLP网络,新预测方法具较好的多步预测性能。
【图文】：

褂孟咝宰曰毓榛嘌猁骄獾Ｐ屠炊运闳鈉性げ猓噘?体预测方法参见文献［12］。2)尺度系数X(J)nJ预测尺度系数X(J)nJ采用强化学习神经网络的预测模型预测，它预测方法如下:BP神经网络将流量数据作为输入，根据Q学习算法，对输入进行函数映射，，Q值存于权值中，模型对网络的输出进行评价，经过延迟，将若干次环境的评价信号批量地提供给神经网络来调整权值，权值最大的对应的流量数据即是尺度系数预测值。然后用此神经网络得到的训练集进行权值训练，再用于实际网络流量的多步预测。强化学习神经网络的预测模型如图1所示。图1强化学习神经网络的预测模型模型主要包括7部分，具体如下:1)BP神经网络流量数据X(J)i(i=1，2，…，nJ－1)作为输入(状态)系统输入，按模型的网络结构输出Y。2)正态分布变量是符合正态分布的随机变量G，用来调整Y，即Z(等于Y+G)作为环境实际的输出，以避免BP神经网络陷入局部最校3)评价反馈环境根据输出Z给出反馈信号E，模型尽量使E最大。4)延时寄存器由于模型中对评价反馈进行了延迟，为了将G、Y与评价同步，延时dp步，该值存于延时寄存器中。—285—

基于强化学习的网络流量非线性多步预测方法

计一般认为3层结构网络可以达到预测要求，即包括一个输入层、一个隐含层、一个输出层。2)神经元数目的设置目前各种计算公式得到的各层神经元数有时相差几倍甚至上百倍，一般实际应用中很难采用，本文采用经验值，即输入层、隐含层、输出层的神经元个数分别为10、10、1。3．2实验把时间单位为0.1秒的BC－pAug89业务流的1000点数据整理成神经网络输入输出样本，输入样本是尺度J内的网络流量样本值，输出样本是输入样本的下一步预测值。使用整理后的样本训练MMLP网络和MRLA网络，比较收敛后的网络的误差和预测结果，图2至图4显示了实验结果。3．3实验结果分析图2、图3比较了预测步数为4时和16时采用MMLP和MRLA网络的预测值和真实值间的差异。从图2中可以看出，预测步长为4时，两种曲线非常相近，都可以跟踪实际的网络流量，在流量连续突发处MRLA网络的预测结果更加准确;而在图3中，预测步长为16时，MMLP不能跟踪描述实际流量的变化特性，这说明随着预测步长的增加，相对MMPL网络，MRLA网络的预测效果更好。图2采用MMLP和MRLA的网络预测结果比较(k=4)为了进一步比较MMLP和MRLA方法的预测性能，本文使用相对均方误差(RMSE)来衡量它们的预测精度，RMSE由(7)计算得到。图4为MMLP和MRLA方法的预测性能比较图，从图中可以看出随着预测步长k的增大，MMLP的性能下降，MRLA性能较好。RMSE=∑nJi=1(Xi－Ti)2/∑nJi=1(Xi)2(7)—286—
【作者单位】：齐齐哈尔大学计算中心;齐齐哈尔大学计算机与控制工程学院;
【基金】：黑龙江省自然科学基金项目(F201218) 齐齐哈尔大学青年教师科研启动支持计划项目(2011k-M05) 黑龙江省高等学校教改工程项目(JG2012010679)
【分类号】：TP393.06

【参考文献】