命名数据网络中基于深度强化学习的动态自适应转发策略研究

发布时间：2020-10-11 01:49

　　 近年来,网络技术发展迅猛,终端设备急剧增多,随之到来的是流量和用户的扩增,同时用户对网络的要求也变得更高了。针对此类问题,命名数据网络(NDN)作为一种未来网络架构被提出。NDN和当前主流的网络架构不同,它把内容和终端位置分离开来,通过订阅/发布的形式来提供各种服务。这样则将用户的关注点从终端改向内容,即用户只需要知道自己想要的内容到底是什么,而不是内容具体在哪里。NDN路由器是命名数据网络正常运行的核心设备,用于数据转发、拥塞控制、流量控制、带宽控制和缓存控制等功能。NDN的转发平面则使NDN路由器能够独立选择下一个跳转发兴趣包,NDN的转发策略是路由器中的决策者--决定接收到的兴趣包是否转发,在什么时间转发,以及向哪个端口转发。因此转发策略的研究对NDN中自适应高效的数据传输起着非常重要的作用。本文主要工作有如下几点:1、传统的NDN转发策略大多都是基于一定的理论模型来设计,其中存在很多假设和对网络模型的简化,这无法全面的模拟网络的真实环境。基于此现象,本文提出了一种基于深度增强学习的动态自适应智能转发策略(DRL-based)。该智能转发策略将NDN转发平台和深度强化学习算法融合在一起,把转发平面分为训练阶段和转发阶段,以智能算法指导NDN兴趣包的转发。在训练阶段,该策略会搜集网络状态信息和兴趣包内容信息作为特征进行训练,并将其结果用于转发阶段。2、在NDN中,兴趣包是实时大规模转发的,所以智能转发算法也应该有高速处理转发的能力。如果单纯的使用深度增强学习算法,将会花费大量时间用于获取转发决策,这会影响转发的效率。所以本文结合兴趣包转发的特点,引入了临时转发表,对基础的智能转发策略进行优化,加速了智能转发策略的决策。改进的自适应智能转发策略(DRL-W)能很好的感知网络状态和内容信息,提高了兴趣包转发效率。3、本文在现有的实验设备下搭建了一定规模的实际平台,并在其上成功部署了基于深度强化学习的动态自适应转发策略。同时,为了评估自适应智能转发策略的性能,本文选取了NDN中4种流行的转发策略作为对照策略(Best-Route策略,Multi-cast策略,NCC策略和ASF策略),设计并实施了相应的对比实验。实验结果显示,本文提出的基于深度增强学习的动态自适应智能转发策略在提高兴趣包满足率和端口吞吐量、降低RTT等发面具有更好的性能。
【学位单位】：中国科学技术大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP393.0;TP181
【部分图文】：

当前网络的发展和成功很大程度上依靠于其沙漏模型，因为它承接着上下层协??议的技术。所以和ＩＰ网络相同，命名数据网络保持了沙漏模型，并同样采用七层结??构。如图２．１所示，上三层协议可以应对相应的命名数据网络应用程序，下三层协议??设计则是针对物理链路和通信。可以看出，和ＴＣＰ／ＩＰ协议最大的不同就是命名数据??网络用内容块代替了?１Ｐ包。??ｆ?邮件万维网电话…?？（浏览Ｓ舰…??＼?ＳＭＴＰ?ＨＴＴＰ?ＲＴＰ?ｊ?＾＂＂文件澡媒体＾??＼?ＴＣＰ?ＵＤＰ?／?＼?／??Ｘ?Ｘ?单独的应用程序?＼?Ｘ??）ｌＰ?（?中識?）名字??＾／Ｅｔｈｅｒｎｅｔ?ＰＰｐ＼＾?｜?单独的链路｜?，?策鵰??／?ＣＳＰｓ４Ａａｓｙｎｅｓｄｆｉ＃簦??牐??｜?／?ＩＰ?ＵＤＰＰ２Ｆ?Ｂｅａｓｔ．．．?＼??Ｉ?Ｃｏｐｐｅｒ?ｆｉｂｅｒ?ｒａｄｉｏ，．，?Ｉ?？?＊?１?Ｃｏｐｐｅｒ?ｆｉｂｅｒ?ｒａｄｉａ，．??．．．．．．．?－）?士?Ｓ??图２．１?ＴＣＰ／ＩＰ网络和命名数据网路沙漏模型对比图??命名数据网络架构的设计遵循着其独特的安全性原则，即将安全性融入数据本??身。ｉｐ网络架构设计之初并没有涉及安全性，而是随着网络的发展，用户对安全性??有了需求，安全性这一概念再添加进来的。而命名数据网络在设计之初就考虑到了??安全性

３）本方案需要做到基于内容和网络端口状态进行转发，转发需要算法的决策??能力，而且端口状态和内容分布需要算法的感知能力。相应的，深度强化学??习算法融合了深度学习和强化学习的特点，既有很强的感知能力又有很强??的决策能力，其感知能力可以感知端口状态和内容分布，决策能力则用来??针对感知结果获取行动决策，指导兴趣包的转发。??４）如果在转发策略中引入深度强化学习算法，将会需要大量的数据，支持神??经网络的训练。而ＮＤＮ功能强大的转发平台可以提供丰富的内容信息、端??口状态信息和其他网络状态信息。??由此可见，深度强化学习算法的特点能很好的适应本方案对转发策略设计的要??求，而ＮＤＮ兴趣包转发的场景符合深度强化学习使用要求的场景。??３．２基于ＤＲＬ算法的转发策略的架构设计??结合深度增强学习算法和命名数据网络转发流程的特点，在命名数据网络路由??器上部署智能算法，并将基于ＤＲＬ的转发策略分为两个阶段：训练阶段（包含策略??的更新）和转发阶段。整体架构如图３．１：??

第一阶段是训练阶段（包含策略的更新），其主要工作就是完成兴趣包完整的处??理流程（即的将兴趣包转发出去，并获取相应的数据包或者ＮＡＣＫ包），同时获取??训练所用的各种信息，并训练得到所需网络，具体流程如图３．２：??１、
【相似文献】

相关期刊论文 前10条

1 李文璟;;未来网络动态自适应管理探讨[J];电信科学;2013年08期

2 张东波;王耀南;;动态自适应选择神经网络集成的方法研究[J];信息与控制;2007年04期

3 胡经 ,罗万伯 ,刘晓锋 ,雷开春;基于“动态自适应安全模型”的网络安全预警系统[J];信息安全与通信保密;2004年08期

4 解汶汶;李姗;卢臻;任祝寅;;详细化学反应动力学动态自适应加速[J];工程热物理学报;2018年07期

5 ;市场新闻[J];通信世界;2013年34期

6 苟小龙;桂莹;王卫;;燃烧过程的多尺度模拟与动态自适应机理方法[J];工程热物理学报;2012年12期

7 陆桑璐,谢立;一个动态自适应的迁移和协同调度模型[J];软件学报;1997年10期

8 靳旭玲;余桂贤;徐亚飞;李光平;薛阳;;一种新型的无线网络入侵检测方法-动态自适应模板法[J];网络安全技术与应用;2011年09期

9 李阳,吴朝晖;一种动态自适应体系结构的研究[J];浙江大学学报(工学版);2005年02期

10 郗君甫;;基于动态自适应萤火虫优化算法[J];邢台职业技术学院学报;2017年05期

相关博士学位论文 前4条

1 姚钟华;基于网络经济的企业动态自适应决策系统的价值研究[D];华南农业大学;2003年

2 南国顺;信息中心网络的服务提供机制和优化研究[D];北京邮电大学;2017年

3 席亮;免疫入侵检测自体与检测器动态自适应机制研究[D];哈尔滨理工大学;2012年

4 谢红胜;梯级电站群短期优化调度模型与定价方案选择[D];华中科技大学;2008年

相关硕士学位论文 前10条

1 吕金阳;命名数据网络中基于深度强化学习的动态自适应转发策略研究[D];中国科学技术大学;2019年

2 郑红霞;基于动态自适应模糊Petri网的OPLC故障诊断[D];东北电力大学;2019年

3 陈加慧;节点积分动态自适应算法研究及其在动态大变形问题中的应用[D];湖南大学;2018年

4 吴向阳;命名数据网络中动态自适应流媒体传输的优化设计[D];中国科学技术大学;2018年

5 倪佳炜;命名数据网络中针对多客户端的动态自适应视频流控制[D];中国科学技术大学;2018年

6 郑力久;基于混合云的支持SLA和动态自适应的集群管理系统[D];哈尔滨工业大学;2018年

7 吴裕华;基于HTTP的动态自适应流媒体QoE评价的研究[D];吉林农业大学;2018年

8 熊磊;基于动态自适应技术的风电集群短期功率预测研究[D];华中科技大学;2017年

9 曾俊凯;基于DASH技术的动态自适应算法研究与系统实现[D];广西大学;2017年

10 马群;面向云服务SLA性能约束的资源动态自适应调整方法研究[D];东北大学;2015年

本文编号：2835868