基于随机映射神经网络的多元时间序列预测方法研究

发布时间：2017-06-04 11:00

  本文关键词：基于随机映射神经网络的多元时间序列预测方法研究，由笔耕文化传播整理发布。

【摘要】：多元时间序列广泛存在于自然、工业、经济、能源和社会等领域的实际复杂系统之中。研究如何有效地从这些时间序列中挖掘出潜在的有用知识、构建预测模型,不仅有利于理解与认识实际复杂系统,而且能够为相应的控制、决策和调控提供理论支持。本文以基于随机映射神经网络的多元时间序列预测为题进行研究,以两种随机映射神经网络：极端学习机与回声状态网络为预测模型,探索适用于多元序列预测的随机映射神经网络的离线与在线建模方法,主要取得以下三方面研究成果：1、提出基于模型选择与改进训练算法的极端学习机预测方法。针对极端学习机的隐含层节点个数确定问题,设计基于模型选择算法的极端学习机,实现最优隐含层节点个数的选择。针对极端学习机伪逆训练算法易出现病态解问题,引入信赖域Newton训练算法,较伪逆算法取得更优的训练结果,且尤其适合于大规模样本问题。考虑到不同样本对预测具有差异性影响的问题,根据预测误差对样本施加不同的权重,建立基于样本加权算法的核极端学习机。针对核极端学习机的核函数选择及核参数优化问题,开发多核极端学习机,组合多个不同类型或者不同参数的核函数,增加预测模型表达能力。2、提出基于改进训练算法与层级结构的回声状态网络预测方法。将含噪时间序列的预测误差分解为预测模型偏差和输入扰动误差,指出高精度建模的关键是对两者进行有效平衡,并在噪声有界假设下,建立鲁棒回声状态网络。针对支持向量回声状态机正则化系数难以确定和单一正则化系数制约其预测精度的问题,在优化问题中对正则化系数进行加权,并采用解轨迹算法求解,得到加权支持向量回声状态机。针对复杂多元时间序列预测问题,设计层级结构回声状态网络,第一层采用多个带有跳跃的环形储备池进行动态特征提取,第二层对提取出的动态特征进行特征选择后采用极端学习机建模。3、提出基于改进在线训练算法的随机映射神经网络在线预测方法。针对多元时间序列的在线建模问题,引入基于在线LM训练算法的极端学习机,结合极端学习机的随机隐含层生成机制,推导出Hessian矩阵和梯度向量的迭代计算公式。针对非平稳时间序列的预测问题,设计基于在线序列训练算法的核极端学习机,依据核极端学习机的拉格朗日函数,推导出增量学习算法和减量学习算法,并设计固定时间窗预测策略。针对回声状态网络缺乏有效在线训练算法且存在不适定性的问题,建立基于在线稀疏训练算法的回声状态网络,通过在目标函数中增加L1正则项以改善不适定性,采用截断梯度算法进行在线近似求解,并理论证明方法的有效性。
【关键词】：多元时间序列 预测 随机映射神经网络 极端学习机 回声状态网络
【学位授予单位】：大连理工大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP183
【目录】：

• 摘要4-5
• ABSTRACT5-18
• 1 绪论18-37
• 1.1 研究背景与意义18-19
• 1.2 国内外相关工作研究进展19-35
• 1.2.1 多元时间序列预测研究现状19-20
• 1.2.2 极端学习机研究现状20-26
• 1.2.3 回声状态网络研究现状26-33
• 1.2.4 现有研究工作的不足33-35
• 1.3 本文主要研究思路35-37
• 2 基于模型选择和改进训练算法的极端学习机预测方法37-63
• 2.1 引言37-38
• 2.2 基于模型选择算法的极端学习机38-44
• 2.2.1 模型选择算法38-39
• 2.2.2 基于模型选择算法的极端学习机39-41
• 2.2.3 仿真实例41-44
• 2.3 基于信赖域Newton训练算法的极端学习机44-49
• 2.3.1 信赖域Newton算法44-45
• 2.3.2 基于信赖域Newton训练算法的极端学习机45-46
• 2.3.3 仿真实例46-49
• 2.4 基于样本加权算法的核极端学习机49-55
• 2.4.1 核极端学习机49-50
• 2.4.2 基于样本加权算法的核极端学习机50-52
• 2.4.3 仿真实例52-55
• 2.5 多核极端学习机55-62
• 2.5.1 多核极端学习机55-56
• 2.5.2 多核极端学习机的求解56-58
• 2.5.3 仿真实例58-62
• 2.6 本章小结62-63
• 3 基于改进训练算法和层级结构的回声状态网络预测方法63-89
• 3.1 引言63-64
• 3.2 鲁棒回声状态网络64-72
• 3.2.1 含噪时间序列预测误差分析65-69
• 3.2.2 鲁棒回声状态网络69-71
• 3.2.3 仿真实例71-72
• 3.3 加权支持向量回声状态机72-79
• 3.3.1 加权支持向量回声状态机72-75
• 3.3.2 加权系数的求解75-76
• 3.3.3 仿真实例76-79
• 3.4 层级结构回声状态网络79-87
• 3.4.1 带有跳跃的环形储备池79-81
• 3.4.2 层级结构回声状态网络81-83
• 3.4.3 仿真实例83-87
• 3.5 本章小结87-89
• 4 基于改进在线训练算法的随机映射神经网络预测方法89-118
• 4.1 引言89-91
• 4.2 基于在线LM训练算法的极端学习机91-102
• 4.2.1 在线LM训练算法91-94
• 4.2.2 基于在线LM训练算法的极端学习机94-95
• 4.2.3 仿真实例95-102
• 4.3 基于在线序列训练算法的核极端学习机102-112
• 4.3.1 在线序列训练算法102-107
• 4.3.2 基于在线序列训练算法的核极端学习机107-108
• 4.3.3 仿真实例108-112
• 4.4 基于在线稀疏训练算法的回声状态网络112-117
• 4.4.1 基于在线稀疏训练算法的回声状态网络112-114
• 4.4.2 基于在线稀疏训练算法的回声状态网络的理论分析114-115
• 4.4.3 仿真实例115-117
• 4.5 本章小结117-118
• 5 结论与展望118-124
• 5.1 结论118-122
• 5.2 创新点122-123
• 5.3 展望123-124
• 参考文献124-133
• 攻读博士学位期间科研项目及科研成果133-135
• 致谢135-137
• 作者简介137

  本文关键词：基于随机映射神经网络的多元时间序列预测方法研究，，由笔耕文化传播整理发布。

本文编号：420748