基于多Agent强化学习的自适应服务组合研究

发布时间：2017-08-15 14:37

  本文关键词：基于多Agent强化学习的自适应服务组合研究

  更多相关文章： 服务组合 强化学习 多Agent系统 自适应性 QoS

【摘要】：在服务计算领域,随着运行环境的变化和服务自身的演化,Web服务组合时刻面临着动态复杂环境所带来的性能挑战。因此,Web服务组合技术必须具有自适应性,要能够对外部环境的变动和服务自身的演化作出及时的反应和调整,从而维持自身的性能表现。除此以外,服务组合技术还应兼顾到大规模服务场景下的效率要求,确保其具有较高的实用价值。本文提出了一个基于多Agent强化学习的、面向动态复杂场景的自适应服务组合模型。该模型在强化学习技术的基础上,融入了多Agent系统机制和博弈论领域里的虚拟行动过程。该模型利用强化学习技术实现动态场景下服务组合的自适应性,利用多Agent机制提升自身的计算效率,利用博弈论里的虚拟行动过程实现多Agent间的协同工作。同时,在该模型的基础上,本文分别提出了基于离策略强化学习和在策略强化学习的自适应服务组合算法,并从理论上证明了它们的收敛性。最后,本文通过一系列仿真实验验证了算法的有效性、可扩展性和自适应性。
【关键词】：服务组合 强化学习 多Agent系统 自适应性 QoS
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP18;TP393.09
【目录】：

• 摘要4-5
• Abstract5-8
• 本论文专用术语的注释表8-9
• 第一章 绪论9-20
• 1.1 研究背景与动机10-13
• 1.1.1 软件系统的自适应性10-11
• 1.1.2 Web服务组合的自适应性11-12
• 1.1.3 研究动机12-13
• 1.2 国内外研究现状13-17
• 1.2.1 自适应服务组合研究13-15
• 1.2.2 基于多Agent技术的服务组合研究15-16
• 1.2.3 多Agent强化学习研究16-17
• 1.3 研究内容17-18
• 1.4 论文结构18-20
• 第二章 Web服务组合概述20-31
• 2.1 Web服务20-23
• 2.1.1 Web服务定义20-21
• 2.1.2 Web服务模型21-22
• 2.1.3 常用Web服务标准22-23
• 2.2 Web服务组合23-26
• 2.2.1 Web服务组合的概念23-24
• 2.2.2 Web服务组合的方法24-26
• 2.3 Web服务组合的服务质量26-28
• 2.3.1 服务质量定义26
• 2.3.2 QoS属性26-27
• 2.3.3 QoS抽象模型27-28
• 2.4 Web服务组合的自适应性28-30
• 2.4.1 Web服务组合的自适应性定义28-29
• 2.4.2 Web服务组合的自适应性内容29-30
• 2.5 本章小结30-31
• 第三章 强化学习理论基础31-37
• 3.1 强化学习原理和结构31-33
• 3.2 马尔可夫决策过程33-34
• 3.3 强化学习常用算法34-36
• 3.3.1 TD算法34
• 3.3.2 Q学习算法34-35
• 3.3.3 Sarsa算法35-36
• 3.4 本章小结36-37
• 第四章 基于多Agent强化学习的自适应服务组合模型37-61
• 4.1 场景描述37
• 4.2 模型构建37-45
• 4.2.1 基于Markov Decision Process的单Agent服务组合模型37-40
• 4.2.2 基于Markov Games的多Agent服务组合模型40-45
• 4.3 最优策略定义45-50
• 4.3.1 奖励函数定义45-48
• 4.3.2 基于Nash均衡的最优策略定义48-50
• 4.4 协同机制设计50-54
• 4.4.1 虚拟行动过程50-52
• 4.4.2 协同方法设计52-54
• 4.5 求解方法54-56
• 4.5.1 基于离策略强化学习的求解算法54-56
• 4.5.2 基于在策略强化学习的求解算法56
• 4.6 方法的收敛性研究56-59
• 4.6.1 基于离策略强化学习的求解算法的收敛性研究56-58
• 4.6.2 基于在策略强化学习的求解算法的收敛性研究58-59
• 4.7 本章小结59-61
• 第五章 实验与分析61-67
• 5.1 实验设置61-62
• 5.2 结果与分析62-66
• 5.2.1 有效性分析62-63
• 5.2.2 可扩展性分析63-65
• 5.2.3 自适应性分析65-66
• 5.3 本章小结66-67
• 第六章 总结与展望67-71
• 6.1 本文总结67-68
• 6.2 未来工作68-71
• 致谢71-72
• 参考文献72-78
• 附录A 攻读硕士期间发表的论文78

【相似文献】

中国期刊全文数据库 前10条

1 张宇晴,佟振声,胡旦华,武雪芳;Agent技术在厂级监控信息系统中的应用[J];上海电力学院学报;2004年01期

2 林菁,孟波;群体决策支持系统中的管理和协调Agent及其应用研究[J];计算机应用与软件;2004年12期

3 罗朝春,涂光瑜,罗毅,盛戈f，

本文编号：678720