最小二乘时序差分中的正则化：罚函数和贝叶斯的比较

发布时间：2020-07-07 17:31

【摘要】：本文系统介绍了一系列最优化带罚函数的最小二乘时序差分的方法,给出了它们模型的数学表达形式和求解方法.LSTD-42将经典最小二乘时序差分进行了正则化的扩展,使得求解过程变得更加稳定;而LSTD-l1能从系数的稀疏性中获益;LSTD-l22和LSTD-l21则将投影布和不动点步分开,添加不同的惩罚约束.并将其的稀疏约束从l1惩罚扩展到了在一般特征选择中表现更好的非凸罚函数SCAD和MCP.本文从贝叶斯的观点,提出了用带稀疏先验的层次贝叶斯模型bLSTD-u和bLSTD-ω,推导得到了它们的全条件后验分布,依此可以用吉布斯采样的方法高效求解,并给出了基于经验贝叶斯的极大似然估计和基于伽马先验导出全条件后验的这两种正则化参数推断的方法.此外.本文还比较了罚函数方法和贝叶斯推断在投影步的不同之处,并在数值实验部分,在两个经典的强化学习问题上比较了最优化方法和贝叶斯推断方法的性能.实验表明,带稀疏先验的贝叶斯推断能取得与带稀疏l1惩罚的最优化方法相近的结果.且远远优于没有利用稀疏性的简单l_2惩罚.
【学位授予单位】：武汉大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：O212
【图文】：

状态,概率转移,选定方向,边界状态

２１，３２）．在这些实验中，环境设定为一个包含２０个状态，２个动作的ＭＤＰ，如图４．１邋．这些逡逑状态连成链状，在每个状态上，ａｇｅｎｔ可以采取”左”或”右”这两个动作的其中一个，结果是有一逡逑定的概率成功转移到所选定的方向，失败则移到所选定方向的反方向．即ａｇｅｎｔ在状态＆上，采逡逑取”左”的动作时，有ｐ的概率转移到状态Ｓｈ，有１邋－ｐ的概率转移到状态ｓｉ＋１，同样”右”的动逡逑作的转移结果也是类似的设定．当ａｇｅｎｔ在边界状态上，且所转移的方向不存在状态时，则保持现逡逑

价值函数,真值,噪声数,状态

ｎｕｍｂｅｒ邋ｏｆ邋ｎｏｉｓｅ邋ｆｅａｔｕｒｅｓ逡逑图４．２：实验人？噪声特征个数ｆｃ，ｌａｆａｅ从０到㈨变化时近似状态价值函数与真值的误差逡逑图４．２是噪声特征个数ｆｃｎ（５ｉｓｅ从０到１０００变化时近似状态价值函数与真值的误差．该实验设逡逑定Ａｖｂｆ邋＝邋９，噪声数ｆｃｎ（）ｉｓｅ从０到１０００依次变化．每次实验的样本数ｎ邋＝邋５００．每种方法同样的实逡逑验重复１００次，以得到均值和标准差．为了图表的简洁性，这里选取了两种最优化带罚函数的方法逡逑ＬＳＴＤ－Ｌ邋（２．５）和邋ＬＳＴＤ－ｋ邋（２．１０），以及两种贝叶斯推断方法邋ｂＬＳＴＤ－ｗ邋（３．５）和邋ｂＬＳＴＤ－ｗ邋（３．６）作逡逑为代表．这里未画出结果的ＬＳＴＤ－／２２方法的效果与ＬＳＴＤ七几乎相同，而ＬＳＴＤ七和带非凸惩逡逑罚的ＬＳＴＤ方法估计所得到的状态价值函数的近似结果，则与ＬＳＴＤ－ｉ２１相差无几．逡逑从中可以看到，当无关的噪声个数逐渐增加时，ＬＳＴＤ七估计对状态价值函数的近似误差很高，逡逑且方差随着无关特征个数的增多而变大，表明该方法越来越不稳定；而带稀疏约束的ＬＳＴＤ－；２１和逡逑带有稀疏拉普拉斯先验的贝叶斯推断方法ｂＬＳＴＤ－ｗ和ｂＬＳＴＤ－ｗ都有较高的近似精度

系数,程度,相关特征,径向基函数

逦３０逡逑图４．３：实验人？估计系数ｗ的稀疏程度逡逑图４．３由上至下是真实的系数ｕ；和ＬＳＴＤ４２，邋ＬＳＴＤ－Ｌ邋ｂＬＳＴＤ－ｕ；所得到的估计，横轴表示系逡逑数向量的指标．该实验设定样本数ｎ邋＝邋５０；相关特征包括ｈｂｆ邋＝邋９个径向基函数和一个常数，无关逡逑噪声特征数Ａｒｎｃ）ｉｓｅ邋＝邋２０，总共３０个特征；真实的系数逡逑ｗ邋＝邋（１０，．．．，邋１０，邋－１０，．．．，－１０，邋０逦０）Ｔ．逡逑ｖ逦ｖ逦，邋ｖ逦Ｖ逦＂邋ｖＶ？＇逡逑５邋个邋１０逦５邋个－１０逦２０邋个邋０逡逑从图中可以看到，ＬＳＴＤ七估计无法识别出这些噪声特征；ＬＳＴＤ－／，能将大部分噪声特征的系逡逑数完全收缩到０，但对于相关特征的系数，由于径向基函数造成的特征之间的相关性，没有Ｚ２惩罚逡逑均匀分配系数质量，ＬＳＴＤ４估计将许多的相关特征的系数也收缩到０，只是将正负质量完全分配逡逑给一正一负两个相关的系数；贝叶斯推断方法ｂＬＳＴＤ－Ｗ虽然没有将噪声特征的系数完全收缩到逡逑０

【相似文献】