一种不稳定环境下的策略搜索及迁移方法
发布时间：2019-09-26 18:30
【摘要】：强化学习是一种Agent在与环境交互过程中,通过累计奖赏最大化来寻求最优策略的在线学习方法.由于在不稳定环境中,某一时刻的MDP模型在与Agent交互之后就发生了变化,导致基于稳定MDP模型传统的强化学习方法无法完成不稳定环境下的最优策略求解问题.针对不稳定环境下的策略求解问题,利用MDP分布对不稳定环境进行建模,提出一种基于公式集的策略搜索算法——FSPS.FSPS算法在学习过程中搜集所获得的历史样本信息,并对其进行特征信息的提取,利用这些特征信息来构造不同的用于动作选择的公式,采取策略搜索算法求解最优公式.在此基础之上,给出所求解策略的最优性边界,并从理论上证明了迁移到新MDP分布中策略的最优性主要依赖于MDP分布之间的距离以及所求解策略在原始MDP分布中的性能.最后,将FSPS算法用于经典的Markov Chain问题,实验结果表明,所求解的策略具有较好的性能.
【图文】：
２６４逦电子学邋报逦２０１７年逡逑右１邋－的概座储彳曰Ｉ邋－严．Ｉ逦Ｒ、＿尺＂，…逦＇邋用于求解最优策略，而户，，用于迁移所学习的最优策略’逡逑’邋－Ｔ日、］慨半守心“＋逦，邋＿ｒ逦并测试所迁移策略的性能？在解决其他问题时，可以根据实逡逑／邋＾邋＿２＿逦际情况设置为其他概率分布，如泊松分布（Ｐｏｉｓｓｏｎ邋ｄｉｓｔｒｉｂｕ－逡逑／逦—邋＋邋Ｓ邋（邋ｈ邋＊邋ｈ＊邋）成立逦ｌｉｏｎ）、高斯分布（Ｇａｕｓｓｉａｎ邋ｄｉｓｔｒｉｂｕｔｉｏｎ）等．逡逑＾邋ｎ邋，，ｕ逦＇邋Ａ，＂逦在实验过程中，设定每个ＭＤＰ分布包含２００个子逡逑根据定理３，我们可以发现策略／！；．从／＼（邋？）迁移邋ＭＤＰ，即《＝２００；ＭＤＰ分布之间距离的阈值（＝０．０１，折扣逡逑到￣（邋？）后，当ＭＤＰ样本足够大时，其性能主要依赖因子ｙ＝０．９，Ｔ＝０．０丨，ＣＲ＝０．３，Ｃｐ＝０．７，，ｅ—贪心策略中＾逡逑于Ｐ？，（邋？）和Ｐ，，：（邋？）之间的距离，？）以及Ｗ邋０．７；从ＭＤＰ分布中采样得到的子ＭＤＰ的数量默认是２００；逡逑在Ｐ？，（邋？）中的，／ｉ；邋）？因此，如果当两个ＭＤＰ分逦根据算法２，求解Ｐ，，和之间的距离是３４．５４．逡逑布足够接近时，我们可以直接将策略从一个ＭＤＰ分布逦在不稳定ＭＤＰ环境下，包括贪心策略（Ｇｒｅｅｄｙ邋Ｐｏｌｉ－逡逑直接迁移到另一个ＭＤＰ分布，实现策略的迁移，并保证逦ｃｙ）、＆贪心策略或者模拟退火策略等在内的传统强化逡逑所迁移策略在新分布中具有较好的性能．另外，当我们逦学习无法很好地平衡算法执行过程中的探索和利用问逡逑固定ｔ的值，逦题＿例如，贪心策略在算法执行过程中仅利用Ａｇｅｍ已逡逑＾２９逦逦邋／Ｉｎ２（２／ｒ）逦
第２期逦朱斐：一种不稳定环境下的策略搜索及迁移方法逦２６５逡逑接着，我们通过实验比较各策略在不同ＭＤＰ样本逦逦逡逑数量下的性能．在实验中，我们设定ＭＤＰ样本的数量分逡逑赵邋４００邋－邋＼逡逑另丨丨是丨0、２０、４０、８０、１５０以及２００．图２是在不同吣叩采邋ｇ逦逦逦逦逦逡逑样情况下，与各策略的性目匕比较图．从图２中１丨丨以行出逦２０００邋５００邋１０００邋１５００邋２０００邋２５００邋３０００邋３５００邋４０００邋４５００邋５０００逡逑在不同ＭＤＰ样本情况下，相比与贪心策略、心贪心策略逦ｉ９0｜逦逡逑，逦邋蝴丨８０－逡逑以及随机策略，１３邋－、／ｐＵ，ｕ）邋Ｉ对应的策略始终能够取逦趣？－逦＾＿＿＿＿＿逡逑Ｓ邋１６０－逦逦逡逑得较优的实验结果．同时，观察ｉ３邋＿邋／ｐｕ，“）Ｉ在同逦逦逡逑ＭＤＰ样本情况下累计奖赏值，可以发现丨３邋－逦１４0。５。。丨＿邋＿邋：漂。的＾恀循棚５＿逡逑的曲线相对是比较稳定的，这也是由于该策略能够较逦图３不同ＭＤＰ样本数《下迁移策略的最优性边界逡逑好的平衡学习过程中的探索和利用问题．另外，相对于逦７邋结束语逡逑基于制数的３作选．择【策略，？二￥（二Ｕ加ｆ易逦＊文主要针对传统强化学习算法无法求解非稳定逡逑计界，这也可财栛」’加Pㄓ剩眨辏ⅲ停模衻w下灥测及控}碧猓岢鰹担停模蟹植祭疵桢义希常担埃危卞问霾晃榷ǎ停模谢肪常⑸杓屏艘恢只诠郊牟呗运彦义细猓
本文编号：2542285
【图文】：
２６４逦电子学邋报逦２０１７年逡逑右１邋－的概座储彳曰Ｉ邋－严．Ｉ逦Ｒ、＿尺＂，…逦＇邋用于求解最优策略，而户，，用于迁移所学习的最优策略’逡逑’邋－Ｔ日、］慨半守心“＋逦，邋＿ｒ逦并测试所迁移策略的性能？在解决其他问题时，可以根据实逡逑／邋＾邋＿２＿逦际情况设置为其他概率分布，如泊松分布（Ｐｏｉｓｓｏｎ邋ｄｉｓｔｒｉｂｕ－逡逑／逦—邋＋邋Ｓ邋（邋ｈ邋＊邋ｈ＊邋）成立逦ｌｉｏｎ）、高斯分布（Ｇａｕｓｓｉａｎ邋ｄｉｓｔｒｉｂｕｔｉｏｎ）等．逡逑＾邋ｎ邋，，ｕ逦＇邋Ａ，＂逦在实验过程中，设定每个ＭＤＰ分布包含２００个子逡逑根据定理３，我们可以发现策略／！；．从／＼（邋？）迁移邋ＭＤＰ，即《＝２００；ＭＤＰ分布之间距离的阈值（＝０．０１，折扣逡逑到￣（邋？）后，当ＭＤＰ样本足够大时，其性能主要依赖因子ｙ＝０．９，Ｔ＝０．０丨，ＣＲ＝０．３，Ｃｐ＝０．７，，ｅ—贪心策略中＾逡逑于Ｐ？，（邋？）和Ｐ，，：（邋？）之间的距离，？）以及Ｗ邋０．７；从ＭＤＰ分布中采样得到的子ＭＤＰ的数量默认是２００；逡逑在Ｐ？，（邋？）中的，／ｉ；邋）？因此，如果当两个ＭＤＰ分逦根据算法２，求解Ｐ，，和之间的距离是３４．５４．逡逑布足够接近时，我们可以直接将策略从一个ＭＤＰ分布逦在不稳定ＭＤＰ环境下，包括贪心策略（Ｇｒｅｅｄｙ邋Ｐｏｌｉ－逡逑直接迁移到另一个ＭＤＰ分布，实现策略的迁移，并保证逦ｃｙ）、＆贪心策略或者模拟退火策略等在内的传统强化逡逑所迁移策略在新分布中具有较好的性能．另外，当我们逦学习无法很好地平衡算法执行过程中的探索和利用问逡逑固定ｔ的值，逦题＿例如，贪心策略在算法执行过程中仅利用Ａｇｅｍ已逡逑＾２９逦逦邋／Ｉｎ２（２／ｒ）逦
第２期逦朱斐：一种不稳定环境下的策略搜索及迁移方法逦２６５逡逑接着，我们通过实验比较各策略在不同ＭＤＰ样本逦逦逡逑数量下的性能．在实验中，我们设定ＭＤＰ样本的数量分逡逑赵邋４００邋－邋＼逡逑另丨丨是丨0、２０、４０、８０、１５０以及２００．图２是在不同吣叩采邋ｇ逦逦逦逦逦逡逑样情况下，与各策略的性目匕比较图．从图２中１丨丨以行出逦２０００邋５００邋１０００邋１５００邋２０００邋２５００邋３０００邋３５００邋４０００邋４５００邋５０００逡逑在不同ＭＤＰ样本情况下，相比与贪心策略、心贪心策略逦ｉ９0｜逦逡逑，逦邋蝴丨８０－逡逑以及随机策略，１３邋－、／ｐＵ，ｕ）邋Ｉ对应的策略始终能够取逦趣？－逦＾＿＿＿＿＿逡逑Ｓ邋１６０－逦逦逡逑得较优的实验结果．同时，观察ｉ３邋＿邋／ｐｕ，“）Ｉ在同逦逦逡逑ＭＤＰ样本情况下累计奖赏值，可以发现丨３邋－逦１４0。５。。丨＿邋＿邋：漂。的＾恀循棚５＿逡逑的曲线相对是比较稳定的，这也是由于该策略能够较逦图３不同ＭＤＰ样本数《下迁移策略的最优性边界逡逑好的平衡学习过程中的探索和利用问题．另外，相对于逦７邋结束语逡逑基于制数的３作选．择【策略，？二￥（二Ｕ加ｆ易逦＊文主要针对传统强化学习算法无法求解非稳定逡逑计界，这也可财栛」’加Pㄓ剩眨辏ⅲ停模衻w下灥测及控}碧猓岢鰹担停模蟹植祭疵桢义希常担埃危卞问霾晃榷ǎ停模谢肪常⑸杓屏艘恢只诠郊牟呗运彦义细猓
本文编号：2542285
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2542285.html
