深度回声状态网络的优化算法研究

发布时间：2022-11-05 17:17

　　本文以深度回声状态网络为研究课题,相比于回声状态网络,深度回声状态网络具有较丰富的动态特性、较强的短期记忆存储能力、较精确的时序预测能力。但是,深度回声状态网络仍然存在共线性、不适定、数值稳定性差等问题,因此,研究深度回声状态网络的优化方案,对深度回声状态网络的进一步发展并且应用于精度和稳定性要求更高的行业领域中具有重要的意义。本文从内存长度的改变、激活函数的改变和储层状态矩阵维度的改变研究了深度回声状态网络的性能变化。首先提出了内存长度可变的深度回声状态网络,其储层的状态更新直接与多个历史储层状态相关,可以记住更长时间内的信息。其次提出了一种新的激活函数作为深度回声状态网络的激活函数,该新激活函数由五种Sigmoid函数组成,通过改变每个Sigmoid函数的系数可以改变新激活函数的有效区域。改变激活函数是从深度回声状态网络的人工神经元设计方面进行的改变,降低深度回声状态网络储层状态矩阵的维度是从深度回声状态网络训练方面进行的改变。考虑到深度回声状态网络的训练非常依赖储层状态矩阵,当储层状态矩阵是病态矩阵时,训练的深度回声状态网络对输入非常敏感,数值稳定性也差,因此采用了拉普拉斯特征映... 

【文章页数】：75 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究工作的背景与意义
    1.2 国内外研究历史与现状
        1.2.1 回声状态网络
        1.2.2 深度回声状态网络
        1.2.3 时间序列应用
    1.3 本文的主要贡献与创新
    1.4 本论文的结构安排
第二章 内存长度可变的深度回声状态网络
    2.1 网络模型与回声状态性质
    2.2 转换稳定性
    2.3 仿真分析
        2.3.1 扰动影响分析
        2.3.2 转换稳定性分析
        2.3.3 时序预测分析
        2.3.4 记忆容量分析
    2.4 本章小结
第三章 多函数激活的深度回声状态网络
    3.1 多函数激活基础
    3.2 网络模型与回声状态性质
    3.3 仿真分析
        3.3.1 扰动影响分析
        3.3.2 转换稳定性分析
        3.3.3 时序预测分析
        3.3.4 记忆容量分析
    3.4 本章小结
第四章 拉普拉斯深度回声状态网络
    4.1 拉普拉斯特征映射降维算法基础
    4.2 拉普拉斯深度回声状态网络
        4.2.1 回声状态性质分析
        4.2.2 目标子空间维度分析
    4.3 仿真分析
        4.3.1 扰动影响分析
        4.3.2 转换稳定性分析
        4.3.3 时序预测分析
        4.3.4 记忆容量分析
    4.4 本章小结
第五章 全文总结与展望
    5.1 全文总结
    5.2 后续工作展望
致谢
参考文献
攻读硕士学位期间取得的成果



本文编号：3703010