改进的低时延全回波Q路由算法
发布时间：2020-12-12 00:04
针对传统路由算法不能适应拓扑环境及网络负载变化导致的拥塞问题,提出了一种改进的低时延全回波Q路由算法。改进算法对于原有算法附加学习率因子进行替换,使用调节范围更大、适应性更好、算法性能更稳健的双曲正割算子;改进算法根据不同网络情况自适应地调节学习率,进而提供合理的路由决策。仿真结果表明,该算法可以适应于静、动态拓扑环境,与已有的路由算法相比,改进算法能有效地减少高、低负载时数据的平均递交时间,降低路由间的振荡,提高数据包的投递率,且体现更好的稳健性。
【文章来源】：系统工程与电子技术. 2020年04期 第940-947页 北大核心
【文章页数】：8 页
【部分图文】：
AQFE-M算法高低负载下学习率参数的变化
式中，k2为常数，一般取值范围为（0,1）。附加的学习率可以在邻居平均递交时间相差不大时增大学习率，反之，减少学习率。sech为双曲正割函数，该函数曲线如图2所示，在（0，+∞]是严格的平滑递减函数。sech[(Tmax-Test）/k2]的值域为（0,1]。当函数定义域的范围大于4时，函数的变化速率迅速变慢，使网络路由学习策略转化为执行当前策略为主。定义域的值趋近于0，即节点所有邻居的平均递交时间与最大递交时间差值相近，sech值接近于1，此时路由学习策略转化为增加探索能力以寻找更加合适的路径，此时η′≈η，学习率比较高，算法具有较高路由灵敏度，能够迅速进行路由调整；当路由选择较小延迟路径后，此时节点所有邻居的平均递交时间与最大递交时间差值较大，sech值较小，自适应学习率因子η′较小，当前网络迅速转化为利用当前的路由策略。η′的调节可以寻求在探索与利用之间的平衡，在高、低负载时寻找信源与信宿之间的递交时延最短路径。如图3所示为改进算法中静态网络瓶颈节点21经过一段学习周期在高低负载下学习率参数sech[(TmaxTest）/k2]的变化情况。初始情况下由于决策节点对周围网络环境不了解，因此需要进行有效的路径探索，如图3(a）所示，在低负载时，初始阶段学习率参数较高，网络学习一段时间之后，在仿真时间接近200时，静态网络下的路由情况趋于稳定，学习率参数保持恒定，无需对学习率参数进行过多的调节。在高负载下，网络路由情况较为复杂，路由抖动增加，学习率参数可以对不同情况下路由进行调节，当网络较为拥塞时，增加对周围有效路径的探索，否则减少路由探索。学习率控制已有的Q值与更新的Q值之间的差异，将学习率调节为较大值时，Q值更新更依赖于当前学习的经验，相反，将学习率调节为较小值时，Q值更新更依赖于先前学习的经验[12]。根据图1(b）中AQFE-M算法高负载下学习率参数的变化情况可知，AQFE-M算法在700～2 000仿真时间单位时，学习率参数大多保持在0.5～0.7之间较小的调节范围，路由可调节的范围较小。如图3(b）所示，改进算法可以在（0,1）范围内对学习率参数进行调节，当路由状况良好时，学习率参数保持在0～0.2之间较低的水平，利用先前已学习到的路由策略；当路由状况较为拥塞时，节点更依赖于当前的学习，因此会增加当前路由探索，学习率参数更多集中在0.2～0.8之间的较高的范围。因此改进算法通过增加学习率参数的变化范围，使附加学习率η′在较大范围内自适应进行调节，更好地平衡了路由中探索与利用之间的关系，进而适应不同网络参数变化情况。
如图3所示为改进算法中静态网络瓶颈节点21经过一段学习周期在高低负载下学习率参数sech[(TmaxTest）/k2]的变化情况。初始情况下由于决策节点对周围网络环境不了解，因此需要进行有效的路径探索，如图3(a）所示，在低负载时，初始阶段学习率参数较高，网络学习一段时间之后，在仿真时间接近200时，静态网络下的路由情况趋于稳定，学习率参数保持恒定，无需对学习率参数进行过多的调节。在高负载下，网络路由情况较为复杂，路由抖动增加，学习率参数可以对不同情况下路由进行调节，当网络较为拥塞时，增加对周围有效路径的探索，否则减少路由探索。学习率控制已有的Q值与更新的Q值之间的差异，将学习率调节为较大值时，Q值更新更依赖于当前学习的经验，相反，将学习率调节为较小值时，Q值更新更依赖于先前学习的经验[12]。根据图1(b）中AQFE-M算法高负载下学习率参数的变化情况可知，AQFE-M算法在700～2 000仿真时间单位时，学习率参数大多保持在0.5～0.7之间较小的调节范围，路由可调节的范围较小。如图3(b）所示，改进算法可以在（0,1）范围内对学习率参数进行调节，当路由状况良好时，学习率参数保持在0～0.2之间较低的水平，利用先前已学习到的路由策略；当路由状况较为拥塞时，节点更依赖于当前的学习，因此会增加当前路由探索，学习率参数更多集中在0.2～0.8之间的较高的范围。因此改进算法通过增加学习率参数的变化范围，使附加学习率η′在较大范围内自适应进行调节，更好地平衡了路由中探索与利用之间的关系，进而适应不同网络参数变化情况。3 仿真结果及分析
本文编号：2911470
【文章来源】：系统工程与电子技术. 2020年04期 第940-947页 北大核心
【文章页数】：8 页
【部分图文】：
AQFE-M算法高低负载下学习率参数的变化
式中，k2为常数，一般取值范围为（0,1）。附加的学习率可以在邻居平均递交时间相差不大时增大学习率，反之，减少学习率。sech为双曲正割函数，该函数曲线如图2所示，在（0，+∞]是严格的平滑递减函数。sech[(Tmax-Test）/k2]的值域为（0,1]。当函数定义域的范围大于4时，函数的变化速率迅速变慢，使网络路由学习策略转化为执行当前策略为主。定义域的值趋近于0，即节点所有邻居的平均递交时间与最大递交时间差值相近，sech值接近于1，此时路由学习策略转化为增加探索能力以寻找更加合适的路径，此时η′≈η，学习率比较高，算法具有较高路由灵敏度，能够迅速进行路由调整；当路由选择较小延迟路径后，此时节点所有邻居的平均递交时间与最大递交时间差值较大，sech值较小，自适应学习率因子η′较小，当前网络迅速转化为利用当前的路由策略。η′的调节可以寻求在探索与利用之间的平衡，在高、低负载时寻找信源与信宿之间的递交时延最短路径。如图3所示为改进算法中静态网络瓶颈节点21经过一段学习周期在高低负载下学习率参数sech[(TmaxTest）/k2]的变化情况。初始情况下由于决策节点对周围网络环境不了解，因此需要进行有效的路径探索，如图3(a）所示，在低负载时，初始阶段学习率参数较高，网络学习一段时间之后，在仿真时间接近200时，静态网络下的路由情况趋于稳定，学习率参数保持恒定，无需对学习率参数进行过多的调节。在高负载下，网络路由情况较为复杂，路由抖动增加，学习率参数可以对不同情况下路由进行调节，当网络较为拥塞时，增加对周围有效路径的探索，否则减少路由探索。学习率控制已有的Q值与更新的Q值之间的差异，将学习率调节为较大值时，Q值更新更依赖于当前学习的经验，相反，将学习率调节为较小值时，Q值更新更依赖于先前学习的经验[12]。根据图1(b）中AQFE-M算法高负载下学习率参数的变化情况可知，AQFE-M算法在700～2 000仿真时间单位时，学习率参数大多保持在0.5～0.7之间较小的调节范围，路由可调节的范围较小。如图3(b）所示，改进算法可以在（0,1）范围内对学习率参数进行调节，当路由状况良好时，学习率参数保持在0～0.2之间较低的水平，利用先前已学习到的路由策略；当路由状况较为拥塞时，节点更依赖于当前的学习，因此会增加当前路由探索，学习率参数更多集中在0.2～0.8之间的较高的范围。因此改进算法通过增加学习率参数的变化范围，使附加学习率η′在较大范围内自适应进行调节，更好地平衡了路由中探索与利用之间的关系，进而适应不同网络参数变化情况。
如图3所示为改进算法中静态网络瓶颈节点21经过一段学习周期在高低负载下学习率参数sech[(TmaxTest）/k2]的变化情况。初始情况下由于决策节点对周围网络环境不了解，因此需要进行有效的路径探索，如图3(a）所示，在低负载时，初始阶段学习率参数较高，网络学习一段时间之后，在仿真时间接近200时，静态网络下的路由情况趋于稳定，学习率参数保持恒定，无需对学习率参数进行过多的调节。在高负载下，网络路由情况较为复杂，路由抖动增加，学习率参数可以对不同情况下路由进行调节，当网络较为拥塞时，增加对周围有效路径的探索，否则减少路由探索。学习率控制已有的Q值与更新的Q值之间的差异，将学习率调节为较大值时，Q值更新更依赖于当前学习的经验，相反，将学习率调节为较小值时，Q值更新更依赖于先前学习的经验[12]。根据图1(b）中AQFE-M算法高负载下学习率参数的变化情况可知，AQFE-M算法在700～2 000仿真时间单位时，学习率参数大多保持在0.5～0.7之间较小的调节范围，路由可调节的范围较小。如图3(b）所示，改进算法可以在（0,1）范围内对学习率参数进行调节，当路由状况良好时，学习率参数保持在0～0.2之间较低的水平，利用先前已学习到的路由策略；当路由状况较为拥塞时，节点更依赖于当前的学习，因此会增加当前路由探索，学习率参数更多集中在0.2～0.8之间的较高的范围。因此改进算法通过增加学习率参数的变化范围，使附加学习率η′在较大范围内自适应进行调节，更好地平衡了路由中探索与利用之间的关系，进而适应不同网络参数变化情况。3 仿真结果及分析
本文编号：2911470
本文链接：https://www.wllwen.com/kejilunwen/wltx/2911470.html
