基于深度强化学习的物联网暂态数据缓存策略研究

发布时间：2024-01-27 04:40

　　随着物联网的发展,物联网接入设备和网络流量快速增长,给现有通信网络带来了巨大压力。为了迎接物联网的挑战,边缘缓存是一种有前途的部署方案,将热点数据缓存在靠近用户的网络边缘,可以有效卸载网络流量、降低网络时延和提高用户体验。物联网场景下,网络的边缘缓存有两大特点:○1物联网中有很多具有时效性要求的暂态数据;○2物联网边缘节点的缓存空间受限。本文从物联网实际特点出发,对暂态数据缓存策略开展研究,提出了基于深度强化学习的物联网暂态数据缓存策略。首先,将物联网中有时效性要求的数据定义为暂态数据,并且对暂态数据进行建模描述,分析了暂态数据的生命周期、新鲜度、新鲜度损失等主要性质和特点。针对边缘缓存场景,将获取暂态数据的成本分为网络传输数据的通信成本和数据的时效性损失成本两部分综合考虑。设计了适合边缘缓存节点中的暂态数据存储结构。其次,分析了边缘缓存节点处理物联网暂态数据请求的过程,将缓存替换策略建模为马尔科夫过程,将深度强化学习算法用于求解缓存替换问题。针对缓存场景,设计了合适的深度强化学习算法,从历史请求中挖掘数据请求的流行度规律和时效性规律,优化获取物联网暂态数据的通信成本和数据时效性成本,...

【文章页数】：73 页

【学位级别】：硕士

图1-1全球物联网（IoT）接入设备数量2015-2025[1]

图3-3数据项时效性示意图

图4-1缓存策略算法框架

图5-1行动者和评论家类视图

本文编号：3886316