基于增强学习的虚拟机服务迁移的关键技术研究及应用

发布时间：2021-02-06 11:35

　　作为新一代分布式计算的基础设施,云计算平台由于其在性能和价格上相对于传统平台的优势,已经成为近些年学术界和工业界研究的一个热点,其应用领域在不断扩展。相对于普通云服务,移动云计算的典型特点是访问延迟的敏感性和访问时空域的变化性。从用户的角度来说,能最大化地获得服务是非常重要的。但随着用户群体的增长,访问量的增加,这种获得性对云服务提供者来说变得愈加困难,同时也愈加迫切。因此,如不考虑这些因素的情况下提供服务,可能会显著增加访问延迟。更糟的是增大网络流量,导致服务中断和性能下降。为了缓解这个问题,将服务迁移到网络中靠近用户的某些有利位置是最小化访问延迟并降低网络成本的一个有效方式。凭借云计算虚拟化技术,我们可将服务封装在一组虚拟机中,并根据需要迁移到一个或不同的数据中心,实现用户的就近访问。将服务迁移到离用户较近的位置不仅能够降低服务访问延迟,而且还会降低服务提供商的网络租赁成本。因此,服务迁移问题对于实时服务来说显得异常重要。然而,服务迁移以批量数据传输和可能的服务中断为代价,增加了总体服务成本。为了在减少服务成本的同时获得服务迁移的益处,本文基于增强学习的方法提出Mig-RL迁移框架... 

【文章来源】：中国科学院大学(中国科学院深圳先进技术研究院)广东省

【文章页数】：62 页

【学位级别】：硕士

【部分图文】：

增强学习框架图

基于增强学习的虚拟机服务迁移的关键技术研究及应用书中直接将满足马尔可夫性的增强学习任务定义为马尔可态和动作都是有限空间的 MDP 定义为有限马尔可夫决策）(Sutton, 1998)。在马尔可夫决策过程中，智能体必须在状态，并且采取行动进而影响状态。马尔可夫决策过程标三个简单的形式。马尔可夫决策过程是强化学习的数

图 2.2 马尔可夫决策过程视图Figure 2.2 Markov Decision Process是一个马尔可夫决策过程的视图，描述了智能体在状态 s 下，选择动作一个状态 并得到相应的回报值 r。这个过程说明奖赏是通过行动引起后得到的。马尔可夫决策过程是强化学习的理论基础。我们的目标是选作，使全部的累积回报值最大。累积回报计算方式如公式 2.1。 = = (马尔可夫决策过程是一个智能体与环境交互的过程，因此在离散的时间 ，在每一个时刻 t，智能体都会处于一个表示环境的状态 表示所有的状态集合。

【参考文献】：
期刊论文
[1]云计算技术在数字图书馆中的应用与分析[J]. 赵海涛,赵建军.  科技情报开发与经济. 2014(07)
[2]云计算:体系架构与关键技术[J]. 罗军舟,金嘉晖,宋爱波,东方.  通信学报. 2011(07)
[3]云计算:系统实例与研究现状[J]. 陈康,郑纬民.  软件学报. 2009(05)



本文编号：3020543