基于状态空间划分的预测状态表示模型获取研究

发布时间：2020-05-05 10:34

【摘要】：预测状态表示(Predictive State Representation, PSR)方法是对动态系统建模的有效方法。相比其它建模方法,PSR具有表征能力强、模型易于学习等优点,可以有效地解决局部可观测问题。但传统的研究方法大都是在整体状态空间上获取系统的PSR模型,计算复杂、模型获取相对困难,已有相关算法通常仅适用于规模较小的系统。 在本文工作中,通过研究系统状态空间划分机制,将整个状态空间划分为多个子状态空间,降低了获取系统PSR模型的难度,进而提出基于状态空间划分的PSR模型算法及基于状态空间划分的转移预测状态表示(Transformed Predictive State Representation, TPSR)模型获取算法,实现了较大规模系统中系统PSR模型的获取。 本文主要研究内容及成果包括以下几个方面： (1)提出状态空间划分机制。通常情况下,系统的状态数量会随着系统规模的增大而增多,从而增加了获取系统整体的PSR模型的难度。本文根据landmark的特性,以landmark为划分状态空间的临界点,把整体状态空间划分为几个规模较小的子状态空间。进行状态空间划分后,只需分别获取状态数量一般都小于整体状态空间的状态数量的各个子状态空间对应的PSR模型,降低了模型获取的难度。 (2)提出一种基于状态空间划分的PSR模型获取算法。该算法根据状态空间划分机制,将较大规模系统的整体状态空间划分为几个较小的子状态空间,进而学习各子状态空间对应的PSR模型；并根据这些子状态空间的PSR模型,构建系统整体的PSR模型后,可对任意事件进行预测。实验仿真结果表明所提算法是有效的。 (3)提出基于状态空间划分的TPSR模型获取算法。随着系统规模的增大,发现检验核这一过程的时间复杂度和计算量通常也相应增大,为了进一步减小模型获取的复杂性,本文在对状态空间划分后,通过引入主成分分析(Principal Component Analysis, PC A)方法,提出基于状态空间划分的TPSR模型获取算法。该算法使用PCA方法对各个子状态空间的经历-检验矩阵进行降维,直接利用降维后的矩阵获取各个子状态空间的TPSR模型,无需发现检验核,简化了模型学习过程。实验仿真结果表明了所提算法的有效性。
【学位授予单位】：厦门大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：N945.12

【参考文献】

相关期刊论文 前6条

1 杨基栋;;EM算法理论及其应用[J];安庆师范学院学报(自然科学版);2009年04期

2 刘云龙;李人厚;;发现和学习不可复位动态系统的预测状态表示的一种新算法[J];电子学报;2009年01期

3 刘云龙;吉国力;;预测状态表示模型的复位算法[J];计算机学报;2012年05期

4 刘云龙;李人厚;刘建书;;基于PSR模型的规划算法[J];控制与决策;2009年02期

5 王爱平;张功营;刘方;;EM算法研究与应用[J];计算机技术与发展;2009年09期

6 刘云龙;李人厚;刘建书;;基于预测状态表示的Q学习算法[J];西安交通大学学报;2008年12期

，

本文编号：2649992