基于强化学习的多路径传输控制协议优化

发布时间：2020-11-20 11:16

　　 随着计算机网络和通讯技术的发展,通讯设备通常配备多个网卡接口,例如智能手机和便携式电脑都配置有WiFi和LIE等多个网卡。然而传统的单路径TCP连接只使用单个的网卡和链路进行传输,导致剩余的接口和链路资源空闲以及单路径传输的性能问题。为了实现多网卡多链路的同时传输,互联网工程任务组提出并标准化多路径传输控制协议(MPTCP),它将单一的TCP数据流划分为多个子流,在不同的链路传输。由于链路多样性,MPTCP 比单路径TCP更加可靠,并且能充分利用网络资源。然而在多链路网络,特别是异构网络中,每条链路在带宽、往返时延等服务质量指标上存在较大差异,使得MPTCP面临缓冲区膨胀、带宽利用率低、队头阻塞、吞吐量下降、应用延迟增大等性能问题。拥塞控制和数据包调度是MPTCP的基本机制,同时是MPTCP设计和实现的核心。因此,优化MPTCP的传输性能,需要考虑以下两个问题:(1)拥塞控制问题,即如何为每个子流设置合适的拥塞窗口。子流的拥塞窗口直接影响子流的吞吐量,对MPTCP的总吞吐量等服务质量指标有着重要影响。(2)数据包调度问题,即如何在各个子流间进行数据包调度。MPTCP数据包调度算法决定了子流之间的数据流量分配。一个优秀的MPTCP数据包调度算法能够适应复杂多变的网络环境,优化子流之间的流量分配,提高MPTCP的性能。针对上述问题,本文分析了传统启发式拥塞控制算法和数据包调度算法的缺陷:基于特定或简化的网络模型,采用固定的控制规则,在复杂多变的动态网络中,难以实现最优的拥塞控制和数据包调度。为了从根本上解决上述问题,本文提出并实现基于强化学习的MPTCP拥塞控制算法SmartCC和基于深度强化学习的MPTCP数据包调度算法ReLeS。SmartCC把拥塞控制过程建模为马尔可夫模型,使用强化学习技术,训练生成不同网络环境下的最优的拥塞控制规则。实验表明:SmartCC在总吞吐量、时延抖动等方面均优于现有MPTCP拥塞控制算法。ReLeS用人工深度神经网络表示MPTCP数据包调度策略,训练生成各种网络环境下的最优数据包调度策略。实验结果表明,对比现有启发式MPTCP数据包调度算法,ReLeS能自适应多种动态的网络环境,综合优化吞吐量、应用时延等指标,有效缓解队头阻塞和缓冲区膨胀等问题。
【学位单位】：南京大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP393.06
【部分图文】：

、??图１－１：?ＭＰＴＣＰ的协议栈??ＴＣＰ／ＩＰ协议族是一组不同层次上的多个协议的组合，如图１－１左侧所示，??ＴＣＰ／ＩＰ通常被表示为一个四层协议系统，每层负责不同的功能，层与层之间分??工合作［Ｉ］。链路层通常包括操作系统中的设备驱动程序和计算机中对应的网??络接口卡，处理物理接口的细节；网络层负责处理分组选路等分组在网络中的??活动；传输层负责为两台主机上的应用程序提供端到端的通信。传输控制协议??ＴＣＰ属于传输层的协议，可以提供高可靠性的数据通信；应用层负责处理特定??的应用程序细节［１］。??如图１－１右侧所示，ＭＰＴＣＰ也属于传输层的协议，可以看作是单路径ＴＣＰ??扩展到多路径的多路传输协议。ＭＰＴＣＰ使得多网卡、多链路的资源得以充分利??用，同时提高传输的效率和鲁棒性。ＭＰＴＣＰ使用与单路径ＴＣＰ?—样的ｓｏｃｋｅｔ??接口，使得能够兼容现有的ＴＣＰ应用。同时ＭＰＴＣＰ的每个子流和单路径ＴＣＰ??流类似，使用相同的ＴＣＰ首部数据格式和数据封装过程，这使得ＭＰＴＣＰ能够??兼容其下的网络层协议。??图１－２展示了使用ＭＰＴＣＰ进行数据传输时

?、、、、?ＴＣＰ！?ＴＣＰ２?…ＴＣＰｎ??、??图１－１：?ＭＰＴＣＰ的协议栈??ＴＣＰ／ＩＰ协议族是一组不同层次上的多个协议的组合，如图１－１左侧所示，??ＴＣＰ／ＩＰ通常被表示为一个四层协议系统，每层负责不同的功能，层与层之间分??工合作［Ｉ］。链路层通常包括操作系统中的设备驱动程序和计算机中对应的网??络接口卡，处理物理接口的细节；网络层负责处理分组选路等分组在网络中的??活动；传输层负责为两台主机上的应用程序提供端到端的通信。传输控制协议??ＴＣＰ属于传输层的协议，可以提供高可靠性的数据通信；应用层负责处理特定??的应用程序细节［１］。??如图１－１右侧所示，ＭＰＴＣＰ也属于传输层的协议，可以看作是单路径ＴＣＰ??扩展到多路径的多路传输协议。ＭＰＴＣＰ使得多网卡、多链路的资源得以充分利??用，同时提高传输的效率和鲁棒性。ＭＰＴＣＰ使用与单路径ＴＣＰ?—样的ｓｏｃｋｅｔ??接口，使得能够兼容现有的ＴＣＰ应用。同时ＭＰＴＣＰ的每个子流和单路径ＴＣＰ??流类似

图３－３：基于强化学习的ＭＰＴＣＰ拥塞控制ＳｍａｒｔＣＣ的框架??态映射到离散的状态区域块。所以每个状态ｓ可以由一个状态区域块ｔ?＝?ｉＡ〇）??表示，该等式表示状态区域块Ｔ包含状态ｓ或者状态区域块Ｔ被状态ｓ激活。??因此，２函数（动作值函数）可以表示为：２（ｒ，ａ）?＝?２（少⑷，ａ）＝Ｅ［２：ｙＶ，］，??其含义为从状态ｓ出发，执行动作《后，机器能得到的累积折扣奖赏的期望。??本文采用基于表格形式的Ｑ－ｌｅａｍｉｎｇ算法［３７］，来学出一个贪婪的确定性??策略?７ｒ（ａ，）?＝?ａｒｇｍａｘａ?２（少（＼），＾〇。举例，当?Ａ?＝?ａｒｇｍａｘａ?２（０（４），＾，那么如果??机器从状态＾出发，执行动作并一直根据该策略选择执行动作，机器将??会得到最大化的累积折扣奖赏。训练器的规则表也会根据策略７Ｔ添加或更新规??则—个基于贪婪确定性策略的规则表如表３－３所示，它指定了不同状??态下最大化累积折扣奖赏的动作。例如表３－３的第一行规则＜Ｔｌ５?Ａ?＞，第一项??被状态ｈ激活的状态区域块ｎ?＝?（Ａｈｉ），第二项是基于２函数最大化的动作??ａｘ?＝?ａｒｇｍａｘａ?Ｑ（ｉ／／（ｓｉ），ａ）〇??
【相似文献】

相关期刊论文 前10条

1 哈渭涛;;一种新的反馈式流媒体拥塞控制算法[J];科学技术与工程;2010年05期

2 韩燮;安爱芬;;一种网络拥塞控制算法的研究[J];太原大学学报;2008年03期

3 王满喜;胡向晖;马刈非;;混合式的网络拥塞控制算法[J];电子科技大学学报;2007年03期

4 常可沛;李绍滋;;一种基于反馈的流媒体拥塞控制算法的改进[J];计算机应用;2007年10期

5 杨新宇,曾明,江晓,赵瑞,吴航;一种新的自适应网络拥塞控制算法[J];计算机工程;2004年08期

6 蒋学勤,杨丽芳;网络中两类拥塞控制算法比较[J];贵州大学学报(自然科学版);2003年04期

7 熊晓将;;基于探测机制的卫星链路拥塞控制算法研究[J];航天器工程;2012年05期

8 党美莹;欧阳;孙元姝;甄长飞;;一种新的流媒体拥塞控制算法[J];小型微型计算机系统;2011年08期

9 彭立宏;张鹤颖;姜新文;窦文华;;一种快速公平收敛的拥塞控制算法[J];电子学报;2010年08期

10 刘宇苹;;基于拥塞控制算法的研究[J];武汉船舶职业技术学院学报;2009年03期

相关博士学位论文 前10条

1 龙承念;高动态异构INTERNET拥塞控制算法研究[D];燕山大学;2004年

2 钱艳平;互联网拥塞控制算法若干问题研究[D];东南大学;2006年

3 杨洪勇;Internet拥塞控制算法的动力学研究[D];东南大学;2005年

4 邵立松;互联网端到端拥塞控制算法研究[D];国防科学技术大学;2006年

5 陈虎;互联网拥塞控制算法研究[D];华中科技大学;2008年

6 胡曦;无线SDN稳定性拥塞控制算法研究[D];电子科技大学;2017年

7 侯萍;基于控制理论的网络拥塞控制算法研究[D];南京理工大学;2011年

8 杨歆豪;基于控制理论的网络拥塞控制中的若干算法研究[D];南京理工大学;2010年

9 任娟;无线Mesh网络的资源分配及拥塞控制算法研究[D];北京交通大学;2010年

10 何凌;TCP/IP网络拥塞控制若干问题的研究[D];东北大学;2008年

相关硕士学位论文 前10条

1 张晗;基于强化学习的多路径传输控制协议优化[D];南京大学;2019年

2 李超君;面向实时音视频流的拥塞控制算法[D];北京邮电大学;2019年

3 吴蕾蕾;数据驱动的移动视频直播拥塞控制技术研究[D];北京邮电大学;2019年

4 李洪林;异构网络中TCP拥塞控制算法的研究与改进[D];北京邮电大学;2019年

5 李少博;端到端的TCP拥塞控制算法研究[D];哈尔滨理工大学;2018年

6 刘盼;基于BBR拥塞控制算法的空间环境数据传输系统[D];中国科学院大学(中国科学院国家空间科学中心);2018年

7 潘俊臣;基于TCP协议的拥塞控制算法的研究[D];成都理工大学;2018年

8 徐磊;基于模糊神经网络的无线网络拥塞控制算法[D];江苏科技大学;2018年

9 汤永锋;基于嵌入式的TCP无线通信设计与性能研究[D];华中科技大学;2017年

10 段家琛;移动环境下MPTCP拥塞控制算法的设计与实现[D];北京邮电大学;2013年

本文编号：2891344