基于强化学习的网络功能虚拟化效能优化研究

发布时间：2020-04-12 18:35

【摘要】：网络功能虚拟化将传统基于硬件的网络功能以软件的形式部署在通用服务器上,提升了网络服务的开放性、弹性与效率。为了快速灵活地提供多样性的网络服务,通常以一个或多个虚拟化网络功能进行组合形成服务,并部署在异构环境上。然而,网络环境中的设备在计算能力、存储资源和分布方式等方面都具有较大的差异性,应该使用自适应方式相应地进行管理。传统的基于模型的效能管理方法由于某些假设或先决条件的参与,在实际应用中受到限制。因此,设计一种无需任何先验知识、不依赖数学模型的优化方法,是构建异构环境下高效网络服务的关键挑战。针对不同网络服务的质量需求和网络功能的组合语义,分别对基于无序网络功能的服务和有序网络功能的服务两方面展开研究和讨论,提升网络服务的效能。针对无序网络功能提供服务的场景,网络功能之间没有前后顺序和数据依赖关系,可以部署在任意的服务器节点上。在运行的过程中,用户请求的时变性和移动性、网络功能实例部署位置的差异性都会对服务效能产生影响。因此,利用Deep Q Network(DQN)来实现用户移动感知的服务迁移管理算法,可以有效地降低服务成本提升服务效能。实验表明,基于DQN的算法可以自动学习用户请求的移动模式,并相应地控制服务器之间的服务迁移,运行时的运营成本比同类算法更低。当服务的网络功能是严格有序时,需要在编排虚拟化网络功能的同时考虑网络流的调度,达到减少成本支出,提高服务质量,最终最大化网络效能的目标。针对该问题,在考虑端到端延迟和各种成本的情况下,设计一种基于Deep Deterministic Policy Gradients(DDPG)的定制化算法以实现智能的虚拟化网络功能编排以及网络流调度。通过大量的实验验证了定制DDPG算法的效能明显优于基于模型的方法和非定制的DDPG算法。
【图文】：

网络功能,网络流,实例

—＾＾ｅ２逦？？ｄｅ３逡逑图１－２ＶＮＦ部署圈逡逑如图１－２中所示，，宥三种网络功能ＮＦ１，ＮＦ２和ＮＦ３。每个网络功能可以有多个逡逑ＶＮＦ实例，如ＮＦ１的ＶＮＦ实例在网络节点１和２上都有部署，这两个ＶＮＦ能够处逡逑理的服务一致，但是处理能力，地理位置等有媻异，ＮＦ２和ＮＦ３的ＶＮＦ实例则都部逡逑署在网络节点３上。如果这些网络功能是无序的，商一种服务需要这三种网络功能逡逑来处理时无需考虑顺序关系，网络流到来后可随意选择一种网络功能处理，三种网络逡逑功能都处理完之后输出网络流即可。而当这些网络功能是有序时，一条ＳＦＣ依次的逡逑通过ＮＦ１，ＮＦ２和ＮＦ３三种网络功能＾当请求该服务的网络流较大时，可根据处理逡逑能力，通信代价等选择其中的一个或两个进行对任务的处理。通过该ＳＦＣ的网络流逡逑必须先经过ｎｏｄｅｌ或者ｎｏｄｅ２上的ＮＦ１的ＶＮＦ实例ＶＮＦ１和ＶＮＦ２

网络管理程序,用户位置,网络环境,中元

强化学习是一种无模型的方法，因此基于强化学习的ＮＦＶ效能管理的框架不需逡逑要任何关于网络动态或统计数据的先验知识。它可以自动学习网络的动态变化，弁在逡逑运行时做出相应的控制决策在本节中提供了如图２－１所示的基于强化学习的效能逡逑管理框架的详细说明，该框架由三个模块组成：网络管理程序，基于强化学习的控制逡逑器和动作执行器。逡逑」丨堼＞：：放逡逑ｆ络状态序｜邋用户移动性邋｜邋｜邋动态箱求邋１邋｜邋服务质量＾逡逑｛逦｜逦交互界面逦￣１逡逑＇基邋逦逦逦＾逦Ｊ逦逡逑制ｉ逦环境逦生逦神经网络１逡逑ｄ邋控逦＼逡逑Ｉ基础设备管理｜丨资源分配｜邋｜任务调度邋■丨逡逑图２－１基于强化学习的效能管理框架逡逑网络管理程序负责监视和聚合网络环境中元素的状态，例如：用户位置，服务器逡逑工作负载，服务放置状态，链路带宽消耗，电价，频谱分配状态，用户关联，基站功逡逑率状态等。该信息对于基于强化学习的控制器对环境进行分析以便做出适Ｓ的控制逡逑决策是必不可少的，收集的信息越多，对环境的分析越准确，从而可能提高控制的精逡逑度和效率。然而，更多的信息增大了基于强化学习的控制器作出控制决策的复杂度，逡逑１０逡逑
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP302;TP181

【参考文献】