基于回声状态网络的多元时间序列预测研究

发布时间：2017-12-18 20:00

  本文关键词：基于回声状态网络的多元时间序列预测研究

  更多相关文章： 多元 时间序列 回声状态网络 预测

【摘要】：复杂系统广泛存在于气象、水文等众多领域,具有多变量动态演化行为和多层次结构,大多呈现出混沌特性,无法建立精确的解析模型。在此背景下,多元时间序列分析与建模技术应运而生,为复杂系统研究提供一条新的途径。近年来,回声状态网络引起了国内外学者的广泛关注,成为时间序列预测领域新的研究热点,但是关于其训练过程和结构优化的研究尚未成熟。本文以回声状态网络为多元时间序列的主要预测模型,改进其学习算法和结构,建立组合预测模型,以提高预测精度、实现多步预测和在线预测。主要内容包括：1、针对储备池状态矩阵规模庞大、现有基于降维方法的回声状态网络模型计算复杂的问题,提出新型的降维预测模型。回声状态网络具有成百上千个隐层节点,其产生的大规模储备池状态矩阵通常具有病态特性,可以采用降维方法提取大规模矩阵的子空间,子空间代替原始大规模病态矩阵求解输出权值。但已有的研究如主成分分析等方法涉及到大规模稠密矩阵特征值分解问题,计算复杂度高。为解决上述问题,本文首先采用小规模三对角矩阵的特征值逼近原始大规模矩阵特征值,建立快速子空间回声状态网络模型,降低模型计算复杂度,提高预测精度。其次,考虑到大规模储备池状态变量间相关系数较大、近似共线性严重的问题,本文采用因子分析方法将大量具有线性相关关系的储备池变量归结为少量综合因子,利用公因子代替原状态矩阵求解输出权值。最后,由于实际数据中含有噪声,引入具有局部保持特性的Laplacian特征图还原回声状态网络隐层节点的非线性连接关系,提取状态矩阵的低维流形特征。在此基础上,分析模型的瞬态稳定性、局部可控性和局部可观测性。2、针对储备池状态变量存在冗余成分的问题,提出稀疏正则化回声状态网络模型。为去除冗余成分、降低储备池状态变量间相关性,同时减小输出权值的幅值,对输出权值施加自适应L1范数惩罚项和L2范数惩罚项,建立自适应弹性网回声状态网络模型。L1范数惩罚可以使得冗余成分对应的输出权值幅值收缩为零,L2范数惩罚可以连续收缩变量间的相关性,减小非零输出权值的幅值,自适应项则可以减小较大输出权值处的偏差,提高模型的预测精度。由于自适应惩罚系数的计算会增加算法的计算复杂度,进一步研究具有更好稀疏性的L1/2范数正则化,建立基于L1/2范数与L2范数的混合正则化模型,只需很小的正则化系数就可以得到稀疏的输出权值,且幅值较小。由于正则化系数较小,引入的模型偏差很小,无需额外施加自适应惩罚系数,算法计算简单,泛化性能好,预测精度高。为实现多步预测,利用Lyapunov指数计算混沌时间序列的可预测尺度,在可预测尺度内,混合正则化预测模型能够取得较高的预测精度。3、针对单一改进回声状态网络不足以映射多元时间序列复杂统计特性的问题,提出新型的回声状态网络组合预测模型。为避免病态解问题和冗余成分问题,需减少隐层节点数,因此,要求神经元具有很强的表示能力。基于此,将小波分析与回声状态网络融合,建立对角结构小波回声状态网络模型。为丰富神经元的多样性,激活函数选为Sigmoid型函数与小波基函数的复合函数。考虑到时间序列中既存在线性特征又存在非线性特征,而且误差序列中仍含有一定的规律,提出基于误差补偿的预测方法。首先采用ARMA模型预测线性特征,得到服从弱高斯分布的残差序列,然后采用岭回归回声状态网络预测残差序列,最后将残差预测值补偿到ARMA模型预测值中。此外,由于复杂系统特性随时间发生变化,观测到的混沌时间序列呈现出非平稳特性,提出非线性卡尔曼滤波回声状态网络模型,实时调整网络参数。采用不同复杂系统中观测到的时间序列进行仿真实验,结果表明,所提模型具有很好的适应性,并且具有较高的在线预测精度。
【学位授予单位】：大连理工大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：O211.61

【相似文献】

中国期刊全文数据库 前10条

1 吴鹏;刘振;陈月辉;;基于神经树的时间序列预测[J];山东科学;2007年01期

2 沈浩;邓梦曦;;预则立——时间序列预测技术之广电业务应用[J];中国数字电视;2011年10期

3 许继平;刘载文;那靖;;司法消噪与多技术融合的时间序列预测[J];计算机工程与应用;2010年24期

4 王刚,胡德文;基于时间序列预测的独立分量排序[J];国防科技大学学报;2005年05期

5 杨久婷;张海望;;基于小波分解与自回归树的时间序列预测新方法[J];科技信息;2009年31期

6 张弦;王宏力;;具有选择与遗忘机制的极端学习机在时间序列预测中的应用[J];物理学报;2011年08期

7 邢蕾;;基于小波分析时间序列预测技术进展[J];吉林金融研究;2009年04期

8 肖凡;马捷中;任岚昆;;基于小波分析与支持向量机的时间序列预测[J];航空计算技术;2011年06期

9 杨玫;赵秀丽;刘瑜;;时间序列预测问题中小波分解的应用研究[J];信息技术与信息化;2011年02期

10 丁红;武招云;龚若愚;廖文凯;;小波分析在径流时间序列预测的应用[J];柳州师专学报;2012年03期

中国重要会议论文全文数据库 前4条

1 陈宇;唐常杰;钟义啸;段磊;乔少杰;普东航;;基于基因表达式编程和时变强度的时间序列预测[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

2 王亮;钟登华;葛晓冬;;预测方法综述[A];全国青年管理科学与系统科学论文集（第1卷）[C];1991年

3 尤华;王建东;;机场噪声的时间序列预测[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

4 王栋;陈勇;徐建良;;基于预测的BitTorrent种子评估方法[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

中国博士学位论文全文数据库 前5条

1 王威娜;基于模糊理论的时间序列预测研究[D];大连理工大学;2016年

2 张冬青;非线性非高斯时间序列预测研究[D];南京航空航天大学;2008年

3 刘大同;基于Online SVR的在线时间序列预测方法及其应用研究[D];哈尔滨工业大学;2010年

4 熊涛;基于EMD的时间序列预测混合建模技术及其应用研究[D];华中科技大学;2014年

5 王军;基于局部模型的时间序列预测方法研究[D];哈尔滨工业大学;2007年

中国硕士学位论文全文数据库 前10条

1 陈诗语;基于网络的时间序列预测[D];西南大学;2015年

2 黄杰;SOM在时间序列预测中的应用研究[D];兰州交通大学;2015年

3 胡海峰;泄漏积分型回声状态网的优化及其在时间序列预测中的应用[D];渤海大学;2016年

4 朱成璋;基于机器学习的时间序列预测关键技术研究[D];国防科学技术大学;2014年

5 顾兰兰;基于BP神经网络的模糊时间序列预测[D];大连理工大学;2016年

6 侯效永;多尺度时间序列预测[D];苏州大学;2013年

7 王丽贤;时间序列预测技术研究[D];天津理工大学;2012年

8 王权;基于选择策略的时间序列预测研究[D];南京航空航天大学;2011年

9 宋玉强;人工神经网络在时间序列预测中的应用研究[D];西安建筑科技大学;2005年

10 张慧;自适应模糊时间序列预测模型的研究[D];大连海事大学;2012年

，

本文编号：1305412