基于多目标强化学习与Skyline计算相结合的服务组合方案研究

发布时间：2017-08-03 07:16

  本文关键词：基于多目标强化学习与Skyline计算相结合的服务组合方案研究

  更多相关文章： 服务组合 QoS 多目标强化学习 Skyline计算 自适应性

【摘要】：在服务计算领域,简单原子服务的有限功能很多时候不能满足复杂的用户需求,这种场景下,组合已有的原子服务来达成用户的需求成为一个研究热点,即服务组合。随着互联网的发展,功能性属性相同QoS属性不同的Web服务数量快速增长,以及组合业务流程的复杂性,服务组合面临一个效率问题。QoS感知的服务组合方法,为的是最大化满足用户需求,成为服务组合研究热点。一方面,由于服务组合面临不断变化的环境和服务自身的演化,Web服务组合技术应该根据相应的变化做出调整,从而维持或达到更好的性能。另一方面,已有的服务组合方法把QoS属性综合成一个效用函数,没有考虑到这些QoS属性是否冲突。考虑到以上问题,本文提出了一个基于多目标强化学习与Skyline计算相结合的服务组合优化方案。对于具有多维QoS属性的Web服务,我们利用Skyline计算抽取不被支配的Web服务缩减组合空间,达到降低复杂度的目的。利用多目标强化学习技术,应对动态场景下的服务组合的自适应性和存在多个冲突目标情况下的服务组合问题。强化学习是机器学习方法的一个主要分支,用来解决序列决策问题。在强化学习系统中,学习agent通过不断与动态不确定的环境进行交互来学习得到最优的动作策略,因此强化学习能够适应变化的环境。然而,传统强化学习方法目标是学习得到最高奖赏的策略,也就是常用的单目标强化学习。对于多口标约束下的自适应服务组合问题,传统强化学习不再合适,因此我们使用多目标强化学习来应对这个问题。最后,我们做了一系列实验,通过实验证算法的有效性、可扩展性和自适应性。
【关键词】：服务组合 QoS 多目标强化学习 Skyline计算 自适应性
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP393.09
【目录】：

• 摘要5-6
• Abstract6-9
• 本论文专用术语的注释表9-10
• 第一章 绪论10-15
• 1.1 研究背景10-11
• 1.2 问题提出及国内外研究现状11-13
• 1.2.1 研究问题与动机11-12
• 1.2.2 国内外研究现状12-13
• 1.3 研究内容13
• 1.4 论文结构13-15
• 第二章 Web服务组合概述15-21
• 2.1 Web服务15-18
• 2.1.1 Web服务协议栈16-17
• 2.1.2 常用Web服务标准和技术17-18
• 2.2 Web服务组合18-20
• 2.2.1 Web服务组合方法19-20
• 2.3 Web服务质量20
• 2.4 本章小结20-21
• 第三章 强化学习与Skyline计算21-30
• 3.1 强化学习21-23
• 3.2 马尔可夫决策过程23-25
• 3.2.1 MDP典型求解方法24-25
• 3.3 强化学习经典算法25-26
• 3.3.1 时序差分(Temporal Difference,TD)算法25
• 3.3.2 Q学习算法(Q-Learning)25-26
• 3.4 多目标强化学习(Multi-Objective Reinforcement Learning,MORL)26-28
• 3.5 Skyline计算28-29
• 3.6 本章小结29-30
• 第四章 基于多目标强化学习与Skyline计算的服务组合模型30-43
• 4.1 场景描述30-31
• 4.2 模型建立31-37
• 4.2.1 基于多目标马尔可夫决策过程的服务组合31-35
• 4.2.2 评价函数35-36
• 4.2.3 策略选择36-37
• 4.3 求解方法37-42
• 4.3.1 单策略方法39-41
• 4.3.2 多策略方法41-42
• 4.4 本章小结42-43
• 第五章 实验与分析43-52
• 5.1 实验设置43-44
• 5.2 单策略服务组合方法实验分析44-49
• 5.2.1 验证有效性实验44-46
• 5.2.2 验证自适应性实验46-47
• 5.2.3 验证可扩展性实验47-49
• 5.3 多策略服务组合方法实验分析49-51
• 5.3.1 验证有效性实验49-50
• 5.3.2 验证自适应性实验50-51
• 5.3.3 验证可扩展性实验51
• 5.4 本章小结51-52
• 第六章 总结与展望52-54
• 6.1 本文总结52
• 6.2 未来工作52-54
• 致谢54-55
• 参考文献55-59
• 附录A 攻读硕士期间发表的论文59

【相似文献】

中国期刊全文数据库 前10条

1 李志宽;;基于Skyline的企业总图3维信息系统[J];测绘与空间地理信息;2009年02期

2 向剑平;郑皎凌;;Skyline计算在多维排序问题上的分析[J];太原师范学院学报(自然科学版);2009年02期

3 黎刚;徐洁;陈踊;;基于Skyline的太湖流域水环境三维GIS系统设计与实现研究[J];现代商贸工业;2009年23期

4 黄丙湖;韩李涛;陈龙;;基于Skyline视频监控系统研究[J];地理信息世界;2010年03期

5 袁昱纬;;基于Skyline的铁路车站三维信息平台实现研究[J];办公自动化;2010年24期

6 周美娟;俞强;杨诗华;黄丽;;基于Skyline的公安三维GIS展现应用系统[J];测绘科学;2011年03期

7 张露露;陈宜金;;基于Skyline的数字矿山三维综合监测系统的应用研究[J];测绘信息与工程;2011年05期

8 邓瑞鹏;王意洁;李小勇;王媛;;基于数据垂直划分的高效并行Skyline查询[J];计算机工程;2012年14期

9 雷浩川;;基于Skyline的三维场景发布技术分析[J];测绘通报;2012年S1期

10 班鹏新;王元珍;朱虹;张勇;;面向标记安全数据库的Skyline立方体算法[J];华中科技大学学报(自然科学版);2013年02期

中国重要会议论文全文数据库 前10条

1 施朗;;浅谈Skyline平台建立三维网络地理信息系统的优缺点[A];2009全国测绘科技信息交流会暨首届测绘博客征文颁奖论文集[C];2009年

2 葛洪涛;;基于Skyline的三维地理信息系统研究与设计[A];第二届“测绘科学前沿技术论坛”论文精选[C];2010年

3 陈秉政;;基于Skyline的三维管线系统的实现[A];第十四届华东六省一市测绘学会学术交流会论文集[C];2012年

4 雷浩川;;基于Skyline的三维场景发布技术分析[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年

5 雷明;张巍;陈利娟;;基于Skyline的水资源三维地理信息系统的设计与实现[A];水与水技术（第3辑）[C];2013年

6 刘剑;张应裕;王东博;周正玉;余建平;;基于Skyline的数字三维国土资源辅助决策系统设计与研发[A];广东省测绘学会第九次会员代表大会暨学术交流会论文集[C];2010年

7 刘莉;蔡军卫;田中彬;马彦;;一种基于移动Agent的分布式Skyline查询算法[A];2007年全国开放式分布与并行计算机学术会议论文集(下册)[C];2007年

8 张光伟;羌鑫林;赵建崇;;SketchUp配合下的Skyline快速三维运用[A];江苏省测绘学会2007年学术年会论文集[C];2008年

9 张光伟;羌鑫林;赵建崇;;SketchUp配合下的Skyline快速三维运用[A];江苏省测绘学会2007'学术年会论文集[C];2008年

10 赵连钧;;基于Skyline的高速公路3D GIS系统开发[A];中国公路学会计算机应用分会2010年学术年会论文集[C];2010年

中国重要报纸全文数据库 前1条

1 慕清;电子地图热点词汇[N];计算机世界;2007年

中国博士学位论文全文数据库 前3条

1 黄伯虎;多环境下Skyline计算问题研究[D];西安电子科技大学;2015年

2 孙圣力;数据流上Skyline查询处理算法研究[D];复旦大学;2008年

3 周红福;基于索引的Skyline算法研究[D];复旦大学;2007年

中国硕士学位论文全文数据库 前10条

1 吴大猛;延迟容忍网络中的Skyline查询研究[D];宁波大学;2014年

2 高天宇;非Skyline的Web服务提升方法研究与实现[D];昆明理工大学;2015年

3 蔡文明;高效关键词Skyline查询算法研宄[D];浙江大学;2015年

4 代博;无线传感数据的Skyline查询算法研究[D];大连海事大学;2015年

5 王雪菲;基于维度偏好的Skyline查询结果精简算法[D];大连理工大学;2015年

6 赵越;不确定数据流的分布并行Skyline查询处理技术研究[D];国防科学技术大学;2013年

7 孙艺斌;基于相似度的传感网Skyline查询处理研究[D];湖南师范大学;2015年

8 刘杨;基于3dsMax及Skyline的城市景观模型构建研究[D];东华理工大学;2015年

9 王倩;大规模环境下基于用户的服务选择方法研究[D];南京邮电大学;2015年

10 张建荣;不确定数据流上的反Skyline查询研究[D];南京航空航天大学;2015年

，

本文编号：613172