利用深度强化学习实现智能网络流量控制
发布时间：2020-04-03 01:43
【摘要】：伴随着移动互联网,物联网,大数据以及云计算的发展,网络用户数量和网络规模飞速增长,同时网络业务日益多样化,网络结构也越来越复杂。面对网络中呈爆炸性增长的流量,如何通过合理的控制和调度方法来实现网络流量的负载均衡,避免网络拥塞的发生,从而保证网络服务质量,提高网络吞吐率已经成为了计算机网络领域越发重要的研究课题。不论是在因云计算和互联网而兴起的大量数据中心网络中,还是在十几年来不断更新换代的骨干网和局域网通信网络中,传统的流量调度和拥塞控制解决方案都显得越来越力不从心。这是由于传统解决方案往往是针对于某些具体网络和流量场景的,随着新的网络结构和流量模式不断出现,针对具体网络场景的解决方案将不再适用于新的环境,因此有必要提出一种适用性广泛的智能网络流量控制方案。最近几年,归功于计算机硬件运算能力的提升,深度学习(Deep Learning,DL)得到了巨大的成功。与此同时,结合了DL和强化学习(Reinforcement Learning,RL)的深度强化学习(Deep Reinforcement Learning,DRL)也在很多领域取得了突破性的进展,其在机器人和工业自动化领域的表现证明了深度强化学习在智能控制的实现上有着的巨大潜力。与此同时,软件定义网络(Software Defined Network,SDN)的出现和发展使得网络的控制变得更加高效和方便。这些都为实现更加智能的网络流量控制方案提供了新的机遇。本文对网络流量控制的问题进行了研究,并结合深度强化学习路由策略优化和SDN流量控制提出了一种新型的智能网络流量控制方案。本文主要研究内容和创新点如下:1.基于深度强化学习的网络流量调度算法本文首先对数据中心网络中的负载均衡和流量调度问题进行了研究,分析了目前数据中心网络中常见的几种流量调度方案以及其所存在的问题。在此基础上,本文以网络路由策略优化为目标进行了网络流量调度问题的建模并提出了基于深度强化学习的网络流量调度算法,同时对于算法中的流量调度顺序问题,创新性地提出了流调度优先级算法。2.基于深度强化学习和SDN架构的智能网络流量控制方案在基于深度强化学习的网络流量调度算法基础上,本文结合SDN架构提出了系统性的智能网络流量控制方案,该方案通过基于深度强化学习的网络流量调度算法来计算网络的全局最优路由策略,而SDN控制器则为流量调度决策提供相应的网络流量信息,并根据决策输出进行相应的流量调度和控制,从而实现网络的负载均衡。3.不同拓扑结构网络下的仿真对比验证为了验证基于深度强化学习的网络流量调度算法对不同拓扑结构网络的实用性,本文在Fat-tree和随机拓扑结构两种仿真网络环境中对算法进行了测试,同时以几种传统的流量调度算法作为对比以评估算法的实际效果。仿真实验的结果表明,不论是在典型数据中心网络还是随机拓扑结构网络中,基于深度强化学习的智能网络流量调度算法都能够比传统流量调度算法更有效地提高网络平均吞吐率,改善网络质量。
【图文】：
发展进入了爆发期。逡逑S缅义贤迹玻采疃壬窬缒Ｐ褪疽馔煎义贤迹玻彩且桓龀＜纳疃壬窬缒Ｐ停勺笾劣曳直鹗鞘淙氩悖ǎ椋睿穑酰翦义希欤幔澹颍礁鲆夭悖ǎ瑁椋洌洌澹铄澹欤幔辏蓿颍┮约笆涑霾悖ǎ铮酰簦穑酰翦澹欤幔澹颍４幽Ｐ徒峁股侠村义纤担疃妊暗哪Ｐ途嗖憬峁梗坎阌梢欢ㄊ康脑怂愕ピㄒ渤莆獃L经元）逡逑１６逡逑
深度神经网络结构为卷积神经网络，输入为当前最近的４帧图像，图像在被输入逡逑前会经过预处理，图像数据在输入后会经过两个卷积层，之后经过两个全连接层，逡逑最终在输出层输出所有可选动作的状态－动作值（Ｑ值），模型的架构如图２－３所逡逑不。逡逑卷积层逦卷积层逦全连接层逦全连接层逡逑%煎
本文编号：2612753
【图文】：
发展进入了爆发期。逡逑S缅义贤迹玻采疃壬窬缒Ｐ褪疽馔煎义贤迹玻彩且桓龀＜纳疃壬窬缒Ｐ停勺笾劣曳直鹗鞘淙氩悖ǎ椋睿穑酰翦义希欤幔澹颍礁鲆夭悖ǎ瑁椋洌洌澹铄澹欤幔辏蓿颍┮约笆涑霾悖ǎ铮酰簦穑酰翦澹欤幔澹颍４幽Ｐ徒峁股侠村义纤担疃妊暗哪Ｐ途嗖憬峁梗坎阌梢欢ㄊ康脑怂愕ピㄒ渤莆獃L经元）逡逑１６逡逑
深度神经网络结构为卷积神经网络，输入为当前最近的４帧图像，图像在被输入逡逑前会经过预处理，图像数据在输入后会经过两个卷积层，之后经过两个全连接层，逡逑最终在输出层输出所有可选动作的状态－动作值（Ｑ值），模型的架构如图２－３所逡逑不。逡逑卷积层逦卷积层逦全连接层逦全连接层逡逑%煎
本文编号：2612753
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/2612753.html
