基于Q-learning的工业互联网资源优化调度

发布时间：2021-10-31 09:36

　　面对5G与工业互联网中日益增长的数据传输与计算需求,移动边缘计算已逐渐成为一种新兴的解决方法,可有效应对工业互联网设备自身计算能力的不足,并充分缓解网络拥塞等问题.然而,当数量庞大的设备同时发送计算请求时,往往会超出边缘计算服务器的计算负载.此外,工业互联网设备通常仅装配有限的能量供给,无法承受能源消耗过多的任务,且庞大的设备数量还决定了网络连接、数据计算等系统开销.因此,面向工业互联网场景中机器类型通信设备的计算任务卸载问题,提出一种基于Q-learning的计算任务卸载决策方法,综合考虑任务卸载过程中的网络环境和服务器状态,并联合优化卸载过程产生的时延、能耗和经济开销.仿真结果表明,所提优化框架可有效减少计算任务卸载系统的时延、能耗和经济的总开销. 

【文章来源】：北京工业大学学报. 2020,46(11)北大核心CSCD

【文章页数】：9 页

【部分图文】：

系统单项开销与任务数据量关系

图6分别展示了本文所提基于Q-learning的计算任务卸载策略产生的任务平均时延、能耗和经济开销受加权系数的影响,任务的复杂度为固定值1 300兆轮. 上文中提到,总开销Asum由时延、能耗和经济开销分别与各自加权系数Wd、We、Wm相乘后相加得到,且各权值系数相加值为1. 如图6所示,各权值参数Wd、We、Wm分别设置为0.33、0.50和0.80,受此影响,卸载系统对各指标的优化程度均有显著差异. 权值参数越高,对于对应指标的优化程度越显著. 当匹配更高的权值参数时,同样的系统开销会被放大,agent因此会偏向于对该指标的优化.以图6中任务平均经济开销为例,当权值达到0.80时,系统卸载策略甚至倾向于将全部任务置于本地处理,以减少其产生的经济开销. 但可预见,在提高某一项权值参数进行补偿优化时,其开销虽明显减少,但其余种类开销将有所增加. 因此,在实际场景中,需根据实际需求和限制调整各指标所对应的权值参数.综上所述,相比于无优化的5种已有卸载决策方法,本文框架可有效减少任务处理时产生的加权总开销,并可根据实际需求调整对应的权值参数,着重优化时延、能耗、经济开销中的某一特定开销.

本文所提工业互联网网络结构模型如图1所示. 此场景下包含N个用户和M个WiFi节点. 同时,小区内还部署1个装配有MEC服务器的基站. 假设用户需处理一批计算密集型任务,可选择于本地处理,也可选择卸载至MEC服务器或中心云服务器处理. MEC服务器的最大计算负载量为L. 用户上传任务数据时,既可选择通过移动网络传输,也可通过WiFi网络传输.本文暂不考虑移动网络与WiFi网络的相互干扰. 在上传任务数据时,每个用户都拥有相同的信道带宽. 当用户通过移动网络传输时,拥有固定的传输速率rb. 当用户通过WiFi网络传输时,首先在一定范围内获取区域内WiFi节点的传输功率pw1,pw2,…,pwm,…,pwM,根据

【参考文献】：
期刊论文
[1]Energy-Efficient Computation Offloading and Resource Allocation in Fog Computing for Internet of Everything[J]. Qiuping Li,Junhui Zhao,Yi Gong,Qingmiao Zhang.  中国通信. 2019(03)
[2]强化学习研究综述[J]. 马骋乾,谢伟,孙伟杰.  指挥控制与仿真. 2018(06)
[3]基于车联网和移动边缘计算的时延可容忍数据传输[J]. 李萌,司鹏搏,孙恩昌,张延华.  北京工业大学学报. 2018(04)



本文编号：3467892