基于强化学习的虚拟网络映射问题的研究与实现

发布时间：2020-11-08 23:14

　　 网络虚拟化技术可以将底层的物理资源抽象为多个虚拟网络,实现多租户对物理资源的共享。不同的租户对虚拟化的网络提出个性化需求,包括节点需求和链路需求等,因此产生了虚拟网络请求。基于对底层物理网络的虚拟化,可以实现将虚拟网络请求映射到物理网络中,这就是虚拟网络映射技术。目前虚拟网络映射技术多采用启发式算法,手工定制一系列的规则和假设,实验结果也不能令人信服。本文提出两种基于强化学习的虚拟网络映射的算法:基于谱理论的强化学习虚拟网络映射算法(A Reinforcement Learning Based on Spectral Method for Virtual Network Embedding,SR-VNE)和基于矩阵摄动的强化学习虚拟网络映射算法(A Reinforcement Learning Based on Matrix Perturbation for Virtual Network Embedding,PR-VNE)。本文的创新点可以归纳为以下三点:(1)传统的物理网络的节点信息使用属性矩阵表示,链路信息使用邻接矩阵表示,但是这两种表示方式不完整并且包含噪音。SR-VNE算法采用物理网络使用谱分析的方式,将属性矩阵和邻接矩阵协同考虑,得到一个能代表物理网络的健壮的共识矩阵。(2)每个虚拟网络请求映射完成以后,物理网络都会发生变化,因此该物理网络特征是高频动态变化的。PR-VNE算法采用矩阵摄动理论捕捉连续时间节点物理网络的变化,完成一种高效的物理网络的特征表示的更新方法。(3)SR-VNE算法和PR-VNE算法使用强化学习的方式对虚拟网络映射模型进行训练,强化学习代理能有效发现物理网络表示和虚拟网络请求之间的关系,从而完成高效的虚拟网络映射算法。根据我们现有的知识,我们SR-VNE算法和PR-VNE算法是第一个将谱分析,矩阵摄动的理论应用到虚拟网络映射中的算法,是能高效地将强化学习应用到虚拟网络映射中的算法。为了验证SR-VNE算法和PR-VNE算法的效果,我们将SR-VNE算法和PR-VNE算法算法与其他三种常用虚拟网络映射算法进行比较,得到结果表明,本文提出的两种算法相比其他三种常用虚拟网络映射算法能在长期平均收益、长期收益消耗比和接受率三个评价指标中得到更优的结果。
【学位单位】：北京邮电大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP393.01;TP181
【部分图文】：

１．２国内外研究现状??国内外研究学者对虚拟网络映射过程中使用的模型和优化算法提出多种思??路。图１－２表示了虚拟网络映射算法的分类方式，根据模型应用于映射阶段的不??同，分为两阶段映射算法，一阶段映射算法。而按照两阶段映射算法中选择节点??的方式不同，又将两阶段映射分为排序映射算法和机器学习映射算法。??一阶段映射算法是在虚拟网络映射过程将节点映射和链路映射作为一个整??体解决，即在节点映射的过程中也会考虑链路映射的代价。两阶段映射算法将虚??２??

Ｓｕｂｓｔｒａｔｅ?ｌｉｎｋ?＾?’??图１－１网络虚拟化技术［１（）］??１．１．２选题意义??虚拟网络请求包含约束条件，如节点属性和链路属性的约束，请求准入约束、??动态变化的请求约束等。如果同时考虑多个约束条件会使虚拟网络映射问题求解??很困难，此时的优化过程都是ＮＰ－ｈａｒｄ［ｕＬｍ的问题。即便是只考虑节点和链路的??约束，求解过程也是ＮＰ－ｈａｒｄ的。所以虚拟网络映射问题一般都会启发式地添加??假设或者简化约束条件，以此来缩小解空间，从而在可接受的复杂度内获得最优??解。??但是这种启发式的手工制定一系列的规则和假设，将注意力放在模型的选型??和约束规则的简化，而忽视了物理网络表征和训练方式的重要性。本文认为虚拟??网络映射现阶段的任务，一方面需要充分挖掘底层物理网络节点信息和属性信息，??增强物理表征能力；另一方面需要重视训练方式

Ｗ’ｃｉＡ＾Ｚ＇ｃｆ。仍然以图２－１举例，我们定义Ｍ，的映射方式为ｒｊｐｒ２两个节??点被映射到Ｓ！和Ｓ２两个节点上，ｎ和ｒ２之间的链路请求就被映射到Ｓｉ和８２之??间的物理链路上；我们定义＃２的映射方式为ｒｉ和ｒ２两个节点被映射到Ｓ！和Ｓ３??两个节点上，那么ｎ和ｒ２之间的链路请求就被映射到ＳＡ２之间和Ｓ２Ｓ３之间的两??个物理链路上。显然Ｍ２＆Ｍ，比多消耗了?Ｓ２Ｓ３之间的链路资源，以更多的网络??资源的消耗完成了本次虚拟网络映射任务。??当图２－１?（ａ）的请求在时间／到达图２－１?（ｃ）的物理网络后，占用物理网络??的资源时长记为Ｇ，在整个占用时长Ｇ时间内，分配给该请求的物理资源不能被??其他虚拟网络请求占用。因此虚拟网络映射算法，即如何做出合理分配虚拟网络??请求的决策，将对物理资源的利用率产生重要影响。??２．２特征表７Ｆ??现实生活中很多问题都可以抽象为网络问题
【相似文献】

相关期刊论文 前10条

1 陈金权;;虚拟网络映射生存性能提升的方法[J];电信快报;2017年12期

2 陈晓华;李春芝;陈良育;曾振柄;;主动休眠节点链路的高效节能虚拟网络映射[J];软件学报;2014年07期

3 李小玲;王怀民;丁博;郭长国;李小勇;;虚拟网络映射问题研究及其进展[J];软件学报;2012年11期

4 丰旻;廖建新;王敬宇;;集中与分布:协同虚拟网络映射[J];中兴通讯技术;2014年03期

5 谢永浩;高嵩峰;代明竹;;基于改进蚁群算法的虚拟网络映射优化[J];计算机科学;2017年S1期

6 陈晓华;李春芝;陈良育;曾振柄;蒋云良;;虚拟网络映射高效节能运输模型及算法[J];电子学报;2016年03期

7 陈春凯;;云计算环境下基于拓扑感知的虚拟网络映射研究[J];计算机应用与软件;2014年12期

8 程祥;张忠宝;苏森;杨放春;;虚拟网络映射问题研究综述[J];通信学报;2011年10期

9 裴梓航;冯凯;袁金宝;;虚拟网络映射生存性能提升的方法研究[J];中国新通信;2018年15期

10 贾伟;夏靖波;;军事虚拟网络映射问题研究[J];现代防御技术;2016年01期

相关博士学位论文 前6条

1 卢波;虚拟网络映射策略与算法研究[D];北京邮电大学;2014年

2 狄浩;虚拟网络的高效和可靠映射算法研究[D];电子科技大学;2013年

3 陈晓华;高效节能虚拟网络映射模型与算法研究[D];华东师范大学;2016年

4 孙罡;虚拟网络的映射技术研究[D];电子科技大学;2012年

5 苑迎;云环境下面向多租赁的虚拟资源分配关键技术研究[D];东北大学;2015年

6 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年

相关硕士学位论文 前10条

1 玉佳成;非SDN设备网络虚拟化技术的研究和实现[D];北京邮电大学;2019年

2 张博;基于强化学习的虚拟网络映射问题的研究与实现[D];北京邮电大学;2019年

3 温海涛;基于SDN环境下的虚拟网络映射研究[D];哈尔滨理工大学;2018年

4 李雄;基于优化开销收益比的大规模虚拟网络映射问题的研究[D];哈尔滨工业大学;2017年

5 高攀;基于弹性光网络的虚拟网络映射节能机制的研究[D];东南大学;2018年

6 贾子寒;无线多跳网络中虚拟网络映射研究[D];北京邮电大学;2018年

7 马悦;面向片上网络映射的关键技术研究[D];天津工业大学;2018年

8 刘宇;智慧协同网络映射服务器抗毁性研究[D];北京交通大学;2017年

9 完小美;光网络中的虚拟网络映射问题研究[D];电子科技大学;2016年

10 曹文杰;基于蚁群算法的虚拟网络映射研究[D];山东大学;2015年

本文编号：2875499