基于强化学习的QoS感知的服务组合优化方案研究

发布时间：2017-07-07 21:26

  本文关键词：基于强化学习的QoS感知的服务组合优化方案研究

  更多相关文章： 服务组合 QoS 强化学习 直接探索 高斯过程

【摘要】：在面向服务的系统架构中,单个web服务的有限功能已无法满足用户日益复杂的业务功能需求,从而催生了组合已有的简单服务来构建满足用户复杂需求的增值服务的方式,即服务组合。随着web服务技术的快速发展,具有相同功能不同QoS水平的服务越来越多,服务组合面临一个服务筛选过程。基于QoS感知的服务组合方法,以最大化满足用户需求为目标,日渐成为领域研究热点。另一方面,基于网络的web服务具有内在的动态变化性,这就要求组合方案具有一定的自适应性。同时,组合业务流程的复杂性及候选服务的快速增长,导致当前服务组合方法面临大规模问题。基于以上考虑,本文提出了基于强化学习的QoS感知的服务组合优化方案。主要包括两方面,一个是基于直接探索的强化学习组合算法优化,它计算状态的回访频率,并利用这些学习经验指导探索过程,从而加速算法收敛。另一个是,基于高斯过程的强化学习组合算法优化,它利用高斯过程,一个核函数逼近技术,来预测目标函数值的分布,具有强大的表达能力和泛化能力。实验表明,本文提出的优化算法具有有效性,自适应性和可扩展性。
【关键词】：服务组合 QoS 强化学习 直接探索 高斯过程
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.09
【目录】：

• 摘要4-5
• Abstract5-8
• 本论文专用术语的注释表8-9
• 第一章 绪论9-14
• 1.1 研究背景9-10
• 1.2 问题提出及现有方法10-12
• 1.3 研究内容12-13
• 1.4 论文组织13-14
• 第二章 Web服务及服务组合技术概述14-23
• 2.1 Web服务概述14-19
• 2.1.1 Web服务协议14-15
• 2.1.2 Web服务核心标准和技术15-19
• 2.2 服务组合技术概述19-22
• 2.2.1 web服务组合需求19-20
• 2.2.2 web服务组合方法分类20-22
• 2.3 本章小结22-23
• 第三章 强化学习相关理论23-30
• 3.1 马尔科夫决策过程23-26
• 3.1.1 MDP最优策略和值函数24
• 3.1.2 MDP的求解24-26
• 3.2 强化学习方法26-28
• 3.2.1 强化学习算法相关重要问题26-27
• 3.2.2 探索策略27-28
• 3.2.3 函数逼近技术28
• 3.3 本章小结28-30
• 第四章 基于强化学习的QoS感知的服务组合模型及优化方案30-44
• 4.1 Web服务组合模型MDP-WSC30-34
• 4.1.1 评价函数32-33
• 4.1.2 离策略选择33-34
• 4.2 基于探索的强化学习组合算法优化34-37
• 4.2.1 基于回访频率的直接探索策略34-35
• 4.2.2 学习率控制35-36
• 4.2.3 基于直接探索优化的服务组合Q-learning算法36-37
• 4.3 基于核函数的强化学习组合算法优化37-43
• 4.3.1 高斯过程38-40
• 4.3.2 高斯过程建模的Q值函数评估40
• 4.3.3 在线构造稀疏字典40-41
• 4.3.4 序列化高斯过程参数更新41-42
• 4.3.5 基于高斯过程的在线Q-learning组合算法42-43
• 4.4 本章小结43-44
• 第五章 实验与分析44-50
• 5.1 实验设置44-45
• 5.2 有效性验证实验45-46
• 5.3 自适应性验证实验46-47
• 5.4 可扩展性验证实验47-49
• 5.5 本章小结49-50
• 第六章 总结与展望50-53
• 6.1 本文总结50
• 6.2 未来工作50-53
• 致谢53-54
• 参考文献54-59
• 附录A 攻读硕士期间发表的论文59

【相似文献】

中国期刊全文数据库 前10条

1 孙洁丽;龚立群;;Web服务组合标准规范的研究[J];现代图书情报技术;2007年05期

2 万里平;蔡美玲;高春鸣;;基于服务联盟的Web服务组合模型及方法[J];计算机工程与应用;2007年31期

3 郭峰;张萌;;Web服务组合的可靠性分析[J];系统仿真学报;2008年S2期

4 程永上;王志坚;;Web服务组合在水利领域中的应用[J];计算机工程与应用;2008年07期

5 陈世展;冯志勇;;服务网络:Web服务组合的新基点[J];计算机应用研究;2008年05期

6 刘志红;;Web服务组合的相关研究[J];农业科技与装备;2009年01期

7 熊伟;;Web服务组合综述[J];信息化纵横;2009年05期

8 曾伟;胡W，

本文编号：531920