基于高斯过程的动态系统研究

发布时间：2017-12-22 08:31

  本文关键词：基于高斯过程的动态系统研究　出处：《华东师范大学》2016年博士论文　论文类型：学位论文

  更多相关文章： 高斯过程 动态系统 多输出序列模型 概率图模型 变分推理

【摘要】：时序数据是生活中常见的数据类型。这类数据通常具有动态性,即数据在相邻时刻之间相互关联。同时,数据也具有维度依赖性,即数据在不同维度之间也相互关联。数据中的动态性与维度依赖性,使得对时序数据的建模具有很大挑战性。利用概率模型框架,对时间与空间上的依赖关系进行联合建模是一种有效的解决方法。在概率模型框架中,高斯过程因其形式优雅而被广泛应用,它可以建模数据之间的非线性映射关系。为了解决时序数据建模中的挑战,关于高斯过程动态系统(Gaussian process dynamical system, GPDS)的研究在不断发展。根据模型假设与学习方法,我们将已有的GPDS分为两大类,高斯过程动态模型(Gaussian process dynamical model, GPDM)与变分高斯过程动态系统(variational Gaussian process dynamical system, VGPDS)。本文工作是在已有GPDS的基础上继续深入研究,并且提出更加合理的GPDS模型。首先,我们针对数据丢失问题提出了改进的GPDM,包括对应的模型学习算法与条件模型。GPDM是最近提出的一种成功应用于时序数据分析的模型,它的模型学习算法与条件模型均建立在完全训练数据的前提下。当数据不完全时,GPDM在优化更新参数之前,使用一个关于隐变量的重构函数对数据进行补全,然后使用完全数据下的学习算法进行模型训练。这种处理丢失数据的方法很可能会带来累计误差,所以我们针对不完全数据提出了改进的GPDM。在改进的GPDM中,改进的模型学习算法可以实现在不完全数据下的模型训练,改进的条件模型可以实现对丢失的测试数据的恢复。我们采用贝叶斯学习框架,对丢失数据进行积分,最终得到观测数据的边缘分布。所以改进的GPDM可以合理充分地利用部分已观测的数据。为验证改进的GPDM处理丢失数据的有效性,我们在不完全的运动捕获数据上进行实验,并将改进的GPDM与原GPDM、κ-NN、三次样条插值和VGPDS进行对比。改进的GPDM无论在处理训练数据丢失还是测试数据丢失方面都具有更大优势。其次,我们针对交通流预测问题提出了高阶GPDM。交通流预测是智能交通系统领域的一个重要的任务,它通常使用路口的历史流量信息来预测下一时刻的流量。提出准确高效的交通流预测模型将对智能交通系统的发展具有重要意义。我们将原有的GPDM从一阶模型扩展到更适用于交通流数据的四阶模型。具体地说,四阶GPDM的隐变量是一个四阶马尔科夫高斯过程。当模型训练结束后,为了实现更高效率的预测,我们结合带权值的k-NN来计算测试数据对应的隐变量。最终的预测结果由四阶GPDM与k-NN结合估计得到。对比其他流行方法,新提出的方法性能更优,并且预测准确率有显著性提高。然后,我们结合前面的工作成果,在相似的贝叶斯框架下,提出了变分依赖多输出高斯过程动态系统(variational dependent multi-output Gaussian process dynamical system, VDM-GPDS). VDM-GPDS具有处理复杂动态性的能力,可以更加合理地建模多元时序数据,特别是不同维度观测之间具有依赖关系的序列。与之前的GPDS明显不同的是,该模型假设多个输出之间具有依赖性。我们采用卷积多输出高斯过程来建模输出数据,以构建一种灵活的多输出协方差函数。在学习阶段,我们引入辅助变量,并采用变分推理方法,得到模型的对数似然变分下界。模型参数与变分参数通过使用基于伸缩共轭梯度的算法,最大化该下界得出。我们的模型因其合理的假设与完全贝叶斯的学习框架,在动态系统建模方面更具优势。我们在人工数据与真实数据上与多种方法进行对比实验,实验结果验证了所提模型的有效性。最后,为了使VDM-GPDS更具一般性,使其不仅适用于时序数据分析,同时也适用于静态数据回归,我们将VDM-GPDS调整为变分依赖多输出多层高斯过程回归模型(variational dependent multi-output multi-layer Gaussian process regression model, VDMM-GPRM)。VDMM-GPRM继承了原动态系统的优势,可以处理多输出或多任务的回归问题。在机器人逆动态问题上的实验结果验证了VDMM-GPRM在回归任务上的优势。本文的工作改进与完善了已有的GPDS,并进一步提出了新的建模时序数据的模型,最后将动态与静态数据的处理模型统一为一个框架。不同的实验设定均验证了所提方法的合理性与有效性。
【学位授予单位】：华东师范大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP18;O212.1

【相似文献】

中国期刊全文数据库 前10条

1 苏明礼;;非平稳高斯过程的最大值的渐近性质[J];东北师大学报(自然科学版);1983年02期

2 谢盛荣;标准非平稳高斯过程的逗留极限定理[J];西南师范大学学报(自然科学版);1991年01期

3 谢盛荣;一类高斯过程在高水平u上的逗留[J];科学通报;1998年13期

4 任彦荣;陈绍成;邹晓川;田菲菲;周鹏;;采用高斯过程模拟预测域/肽识别和相互作用[J];中国科学:化学;2012年08期

5 徐业基;关于平稳高斯过程的谱函数估计的渐近性质[J];数学学报;1983年04期

6 谢盛荣;方差具有有限个极大点的高斯过程之极值逗留[J];应用数学学报;1997年01期

7 刘辉;白峰杉;;基于混合高斯过程模型的高光谱图像分类算法[J];高校应用数学学报A辑;2010年04期

8 谢盛荣;关于平稳高斯过程的上穿过期望次数的几点注记[J];数学研究与评论;1996年02期

9 郑建青;;大增量平稳高斯过程的极限行为(英文)[J];宁波大学学报(理工版);2007年01期

10 陈振龙,刘禄勤;d维平稳高斯过程的极函数及其相关维数[J];武汉大学学报(理学版);2002年03期

中国重要会议论文全文数据库 前5条

1 刘信恩;肖世富;莫军;;用于不确定性分析的高斯过程响应面模型设计点选择方法研究[A];中国计算力学大会'2010（CCCM2010）暨第八届南方计算力学学术会议（SCCM8）论文集[C];2010年

2 刘冬;张清华;;基于高斯过程的精密卫星钟差加密[A];第二届中国卫星导航学术年会电子文集[C];2011年

3 李雅芹;杨慧中;;一种基于仿射传播聚类和高斯过程的多模型建模方法[A];2009中国过程系统工程年会暨中国mes年会论文集[C];2009年

4 赵级汉;张国敬;姜龙;魏巍;;基于叠加高斯过程的数字噪声产生方法FPGA实现[A];第二十四届全国空间探测学术交流会论文摘要集[C];2011年

5 何志昆;刘光斌;姚志成;赵曦晶;;基于高斯过程回归的FOG标度因数温度漂移建模新方法[A];第25届中国控制与决策会议论文集[C];2013年

中国博士学位论文全文数据库 前6条

1 王建民;矿山边坡变形监测数据的高斯过程智能分析与预测[D];太原理工大学;2016年

2 赵静;基于高斯过程的动态系统研究[D];华东师范大学;2016年

3 潘伟;基于高斯过程的高炉炼铁过程辨识与预测[D];浙江大学;2012年

4 贺建军;基于高斯过程模型的机器学习算法研究及应用[D];大连理工大学;2012年

5 夏战国;基于高斯过程的提升机轴承性能评测方法研究[D];中国矿业大学;2013年

6 赵伟;复杂工程结构可靠度分析的高斯过程动态响应面方法研究[D];广西大学;2014年

中国硕士学位论文全文数据库 前10条

1 李红丽;回归分析中的贝叶斯推断技术的研究[D];江南大学;2015年

2 李励耘;基于高斯过程的抓取规划方法研究[D];哈尔滨工业大学;2015年

3 王雪茹;基于高斯过程的风电机组部件建模与监测研究[D];华北电力大学;2015年

4 于立鑫;基于高斯过程—差异进化算法的隧道施工多元信息反分析研究[D];大连海事大学;2015年

5 戈财若;基于高斯过程的高光谱图像分类算法研究[D];东华理工大学;2015年

6 叶婧;基于高斯过程回归的锂电池数据处理[D];北京交通大学;2016年

7 张栋;基于在线学习高斯过程有杆泵油井动态液面建模方法研究[D];东北大学;2014年

8 申倩倩;基于高斯过程的在线建模问题研究[D];华南理工大学;2011年

9 朱江;单任务以及多任务稀疏高斯过程[D];华东师范大学;2014年

10 黄荣清;基于稀疏高斯过程回归的半监督分类的序贯训练方法[D];华东师范大学;2012年

，

本文编号：1319118