基于一般化斜投影的异策略时序差分学习算法

发布时间：2019-07-30 15:55

【摘要】：在强化学习的值函数线性估计问题中,时序差分不动点解和贝尔曼残差的方法都是对真实值函数的斜投影,然而这两种解经证明都不是最优解.通过对两种投影进行加权平均,提出了一种一般化的斜投影算子.基于此推导出两种残差时序差分学习算法,并给出了这两种算法在异策略下的收敛性证明.在著名的Baird的异策略反例实验上,与相关算法进行了对比,实验结果验证了所提算法的正确性和有效性.
【图文】：

Ｌ１Φ＝Ｄ（Ｉ－ｗγＰ）Φ＝ＤＬ２Φ其中Ｌ２＝Ｉ－ｗγＰ，权重ｗ是一个实数．显然，当ｗ取０和１时，ＸＲ就等于ＸＴＤ和ＸＢＲ．由于ＴＤ和ＢＲ的方法各有优点（ＴＤ的方法收敛速度快，但无法保证收敛性，而ＢＲ的方法具有很好的收敛性，收敛的速度却很慢），所以通过将两者加权得到ＲＴＤ的方法，能够综合ＴＤ和ＢＲ的优点，在收敛的速度和稳定性之间做一个权衡，因此本文中取ｗ属于０到１之间的实数．图１几种方法投影的几何关系Ｆｉｇ．１Ｇｅｏｍｅｔｒｉｃｒｅｌａｔｉｏｎｓｈｉｐｓｂｅｔｗｅｅｎｓｅｖｅｒａｌｍｅｔｈｏｄｓｆｒｏｍｔｈｅｐｒｏｊｅｃｔｉｏｎｖｉｅｗ图１描述了最佳投影方向和ＴＤ、ＢＲ的投影方向的关系，其中：ΠＴＤ＝ΠＬＴ１ＸＴＤ＝ΠＬＴ１ＤΦΠＢＲ＝ΠＬＴ１ＸＢＲ＝ΠＬＴ１ＤＬ１ΦΠＲ＝ΠＬＴ１ＸＲ＝ΠＬＴ１ＤＬ２ΦΠ＝ΠＬＴ１Ｘ＊＝ΠＤΦ尽管采用了加权求和的方法，从几何角度来看，新的投影方向仍然不是与ｓｐａｎ（Φ）正交的，即最优投影方向，但是通过选取合适的权值ｗ，新的投影点与最优投影点间的距离会更近，也就是说估计的值函数精确度更高．２目标函数和一般化投影的时序差分学习算法２．１ＲＴＤ算法用加权求和的方法得出一般的ＸＲ＝ＤＬ２Φ后，就可以得到目标函数：Ｊ（θ）＝‖ＸＴＲ（Ｖθ－ＴＶθ）‖２２＝Ｅ［δ（φ－γｗφ′）］ＴＥ［δ（φ－γｗ

基于一般化斜投影的异策略时序差分学习算法

第６期吴毓双等：基于一般化斜投影的异策略时序差分学习算法续图３图３权值ｗ在不同参数值下的性能曲线Ｆｉｇ．３Ｐｅｒｆｏｒｍａｎｃｅｃｏｍｐａｒｉｓｏｎｓｗｉｔｈｏｔｈｅｒａｌｇｏｒｉｔｈｍｓｆｏｒｄｉｆｆｅｒｅｎｔｗｅｉｇｈｔｖａｌｕｅｓ对取不同权值（－１～５）的ＲＴＤ算法进行相同条件下的实验效果比对如图４．图４选取不同权值的ＲＴＤ算法在相同实验下效果曲线图Ｆｉｇ．４Ｐｅｒｆｏｒｍａｎｃｅｆｉｇｕｒｅｓｆｏｒｄｉｆｆｅｒｅｎｔｗｅｉｇｈｔｖａｌｕｅｓ图４给出了不同权值的ＲＴＤ算法的实验效果对比图．从该图中可以看出，ｗ落在绝对收敛范围内时能稳定收敛，但速度一般，而落入相对收敛范围内时，算法能够保证较好收敛性和较快收敛速度，且当ｗ取－０．５（灰色）和１．３（黄色）时，算法的效果最佳．５总结与展望本文从投影的角度出发，，对ＴＤ和ＢＲ的投影空间加权求和，将投影方向一般化，然后基于得到的一般化斜投影方向推导出两种异策略的残差时序差分学习算法，并给出了这两种算法在异策略下的收敛性证明．本文通过Ｂａｉｒｄ的异策略反例实验，证实了本文提出的算法具有稳定的收敛性，同时分析了权值不同对算法性能的影响，并且在收敛速度上与相关算法进行了对比．后续工作将从以下几方面展开：（１）本文选取权值是通过人为设定的，而接下来将考虑利用自适应的方法选取最优权值；（２）理论分析权值ｗ选取在相对收敛范围时能够很快收敛的原因；（３）用有限样本分析的方法分析算法的收敛性和性能界．参考文献［１］ＳｕｔｔｏｎＲＳ，ＳｚｅｐｅｓｖáｒｉＣ，
【作者单位】：南京邮电大学贝尔英才学院;南京邮电大学计算机学院;南京大学计算机软件新技术国家重点实验室;
【基金】：国家自然科学基金(61403208) 南京大学计算机软件新技术国家重点实验室开放课题(KFKT2016B04) 南京邮电大学引进人才科研启动基金(NY214014)
【分类号】：TP181

【相似文献】