网络服务系统基于随机优化的接入控制研究

发布时间：2017-06-21 16:03

  本文关键词：网络服务系统基于随机优化的接入控制研究，由笔耕文化传播整理发布。

【摘要】：进入21世纪初后,计算机网络技术得到了极大的进步,互联网为人们生活工作带来了极大的便利。由于人们对于网络服务的需求不断提高,各类网络服务系统的数量和规模也同时不断增长,即时通信、视频点播等网络应用和服务己经大量被人们所使用。在网络结构方面,以传统的C/S结构为代表的单服务节点网络系统已经逐渐被分布式网络服务系统所取代,其中以P2P和内容分发网络两种覆盖网络结构最为流行,并且已经被大部分网络服务系统所使用。尽管分布式网络服务系统拥有十分不错的性能和扩展性,但是在用户规模不断增加的情况下,仍然表现出了一些性能上的瓶颈。同时,由于某些系统管理策略的不足,导致了这些系统资源利用率较低,系统运运营商难以获得理想的收益。接入控制策略作为一个请求能否进入系统的依据,其对于网络服务系统的负载控制和收益具有较大影响,因此对于接入控制的优化具有重要的理论和实际应用价值。 本文针对分布式网络服务系统的接入控制问题进行研究,主要围绕用户服务请求在系统中各服务节点处的接入控制过程,在实际的网络背景下,根据随机优化的思想,建立系统的随机动态演化模型来描述系统的控制过程,并在模型的基础上利用策略优化算法来获得系统的最优接入控制策略以实现系统性能的最优。本文的主要工作和创新性可以概括如下。 第一,针对分布式网络服务系统的接入控制问题,提出一种基于半Markov决策过程模型的优化方法。首先,研究了系统参数固定时的接入控制策略优化问题,采用一个半Markov决策过程来描述系统中各个服务节点处请求的接入控制过程,系统根据当前状态和请求类型来判断是否接入一个新请求。然后,研究了系统参数随时间变化时的接入控制策略更新问题,提出一种接入控制策略切换机制,当系统参数变化达到一定程度时,系统在其基础接入控制策略集中选择一个接入控制策略来控制新到达的请求,采用一个新的半Markov决策过程对系统的接入控制策略切换过程进行描述,根据系统各节点处的请求到达率和时刻判断选择的接入控制策略。优化的目标是提高系统的长期运行平均收益,针对两个半Markov决策过程模型,分别采用参数化随机策略和确定性策略作为行动策略,并通过梯度法和Q学习法对接入控制策略和接入控制策略的切换规则进行优化。提出的随机优化模型能够较为准确的描述出一个分布式网络服务系统的接入控制过程,并且能够反映出系统中各种因素对接入控制的影响。 第二,根据实际网络系统中接入控制的特点,提出一种基于事件的梯度优化方法。首先,根据事件的思想,给出了基于事件描述一个实际系统控制过程的方法。然后,研究了在使用基于事件的参数化随机策略时系统的控制策略优化问题,通过基于性能灵敏度的方法分析并推导出了系统的性能差公式以及系统性能关于策略参数的梯度公式,采用随机逼近方法给出了系统的性能梯度估计算法和在线策略迭代算法。最后,考虑在两种不同约束下的策略优化问题,通过事件思想并结合拉格朗日法,提出了一种解决带约束情况下的策略优化算法。相比于基于Markov决策过程的策略优化,基于事件的优化方法能更好的反映出实际控制系统的特点,并且能够在优化过程中有效降低了算法的复杂度。 第三,针对分布式网络服务系统中存在己接入的请求被丢弃概率约束时,如何对接入控制进行优化的问题,提出一种基于事件的优化方法。首先,通过事件描述了系统中各服务节点处的接入控制过程。系统中的主要事件分别为请求被接入并被服务、请求被接入但是被丢弃、请求被拒绝。然后,定义了系统的风险事件和事件的风险指数,并根据事件的风险指数给出了系统风险指数的公式。模型中给出的系统风险指数即系统长期运行过程中一个接入的请求被丢弃的概率,这样就将原问题中的概率性约束转化为了一般性约束。最后,通过拉格朗日法,给出了系统的拉格朗日报酬函数和性能,并根据基于事件的优化算法得到了满足约束条件下的系统最优接入控制策略。
【关键词】：分布式网络服务系统 接入控制 策略切换机制 强化学习 性能梯度估计 基于事件的优化 风险事件
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP393.09
【目录】：

• 摘要5-7
• ABSTRACT7-16
• 第一章 绪论16-32
• 1.1 服务覆盖网18-23
• 1.1.1 内容分发网络19-21
• 1.1.2 对等网络21-23
• 1.2 虚拟化网络服务系统23-26
• 1.2.1 虚拟化技术24
• 1.2.2 虚拟网络服务系统24-26
• 1.2.3 服务流程26
• 1.3 网络服务系统的管理策略26-28
• 1.3.1 接入控制策略26-27
• 1.3.2 内容部署策略27-28
• 1.3.3 服务节点选择策略28
• 1.4 本文的主要工作和贡献28-29
• 1.5 本文的组织结构29-32
• 第二章 相关研究工作及基础知识32-50
• 2.1 主要接入控制方法32-38
• 2.1.1 基于实际测量的方法33-35
• 2.1.2 基于数学模型的方法35-38
• 2.2 基于模型的接入控制38-40
• 2.3 随机优化模型40-44
• 2.3.1 Markov决策过程41-43
• 2.3.2 半Markov决策过程43-44
• 2.4 基于性能灵敏度的分析法44-46
• 2.4.1 Poisson方程45-46
• 2.4.2 性能灵敏度公式46
• 2.5 强化学习46-47
• 2.6 小结47-50
• 第三章 基于SMDP的接入控制50-74
• 3.1 引言50-51
• 3.2 系统抽象51-53
• 3.3 固定参数下的接入控制模型53-56
• 3.3.1 系统参数53
• 3.3.2 状态53-54
• 3.3.3 行动54
• 3.3.4 状态转移54-55
• 3.3.5 报酬和性能55-56
• 3.4 固定参数下的接入控制策略优化56-63
• 3.4.1 接入控制策略56-57
• 3.4.2 梯度优化方法57-58
• 3.4.3 状态空间聚类方法58-60
• 3.4.4 仿真与性能评估60-63
• 3.5 参数变化时的策略切换机制63-66
• 3.5.1 系统参数变化特征65-66
• 3.5.2 接入控制策略切换机制66
• 3.6 接入控制策略的切换归则优化66-72
• 3.6.1 参数变化检测67-68
• 3.6.2 策略切换控制的SMDP模型68-69
• 3.6.3 切换规则优化69
• 3.6.4 实验与仿真69-72
• 3.7 小结72-74
• 第四章 基于事件模型的接入控制74-90
• 4.1 引言74-75
• 4.2 离散事件动态系统基于事件的描述75-76
• 4.3 基于事件策略下的性能灵敏度分析76-80
• 4.3.1 性能差公式77-78
• 4.3.2 性能梯度公式78-80
• 4.4 策略优化算法80-83
• 4.4.1 基于样本轨道的策略梯度估计80-82
• 4.4.2 策略的在线优化82-83
• 4.5 带约束问题的优化83-88
• 4.5.1 约束条件描述84-86
• 4.5.2 拉格朗日法86-88
• 4.6 小结88-90
• 第五章 带约束条件下的接入控制90-100
• 5.1 引言90
• 5.2 系统结构90-92
• 5.3 基于事件的描述和分析92-95
• 5.3.1 主要事件93-94
• 5.3.2 风险事件和系统风险指数94-95
• 5.3.3 优化问题描述95
• 5.4 接入控制策略优化95-99
• 5.4.1 拉格朗日法95-96
• 5.4.2 仿真实验与分析96-99
• 5.5 小结99-100
• 第六章 总结与展望100-104
• 6.1 本文总结100-102
• 6.2 有待进一步研究的内容102-104
• 参考文献104-110
• 致谢110-112
• 在读期间发表的学术论文与取得的研究成果112-113

【参考文献】

中国期刊全文数据库 前1条

1 ;Admission Control with Elastic QoS for Video on Demand Systems[J];International Journal of Automation & Computing;2012年05期

  本文关键词：网络服务系统基于随机优化的接入控制研究，由笔耕文化传播整理发布。

，

本文编号：469158