新型深度储备池计算方法研究

发布时间：2021-05-24 01:22

　　储备池计算（Reservoir Computing）模型结构简单、训练高效,是一种训练循环神经网络的新型计算方法。目前已经在动态系统识别、时间序列预测等领域中得到了广泛的应用。然而,相比于深层次的深度学习模型,储备池计算模型层次结构单一化（只有随机固定的单个隐含层）,唯一需要训练的网络输出权值也仅仅依赖于简单的回归工具。因此储备池计算目前还尚未能应用于更广泛的时间序列应用领域,例如动作识别。本文拟基于典型的储备池计算模型——回声状态网络（Echo State Network,ESN）,探索储备池计算与深度学习在模型思想、技术等方面结合的可能性,提出两种新型的深度储备池计算模型。具体地,本文研究工作主要包括在以下两个方面:1)提出一种新型的层次化储备池计算模型——深度储备池网络（Deep Reservoir Network,DRN）。该模型通过多重投影与编码的交替方式叠加储备池和无监督编码器。各层的储备池与最后的输出层之间均有需要学习的输出连边,并且这些输出连边的权值可以通过简单的回归方程求解。该模型在保证传统储备池计算简单、高效的学习特点（不依赖于时间方向上的梯度反向传播过程）的同时,... 

【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：82 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究动态
    1.3 研究动态分析与总结
    1.4 本文主要研究内容及其安排
第二章 储备池计算模型基础
    2.1 回声状态网络模型
    2.2 储备池中的超参数
    2.3 储备池系统的稳定性条件
    2.4 本章小结
第三章 基于多重投影编码的深度储备池网络
    3.1 研究动机
    3.2 深度储备池网络
    3.3 编码器的选择
    3.4 超参数优化
    3.5 稳定性分析
    3.6 实验部分
        3.6.1 时间序列预测实验
        3.6.2 拓展多项式系统的识别实验
        3.6.3 超参数灵敏度分析实验
        3.6.4 多尺度动态的可视化分析
    3.7 本章小结
第四章 基于卷积回声状态网络的时序分类模型
    4.1 研究动机
    4.2 卷积回声状态网络
        4.2.1 基于储备池系统的回声状态编码
        4.2.2 基于卷积的多尺度解码
        4.2.3 损失函数与训练算法
    4.3 面向动作识别的卷积回声状态网络扩展模型
        4.3.1 人体骨骼节点数据的结构划分
        4.3.2 基于多步通道融合策略的拓展模型
    4.4 基于UCR时序数据库的分类实验
        4.4.1 UCR时序数据库介绍
        4.4.2 数据预处理与模型设置
        4.4.3 实验结果
    4.5 基于人体骨骼节点序列的动作识别任务
        4.5.1 数据集介绍
        4.5.2 数据预处理与实验设置
        4.5.3 实验结果
    4.6 本章小结
第五章 结论和展望
参考文献
攻读硕士学位期间取得的研究成果
致谢
附件


【参考文献】：
期刊论文
[1]储备池计算硬件实现方案研究进展[J]. 李磊,方捻,王陆唐,黄肇明.  激光与光电子学进展. 2017(08)
[2]一种增量式模块化回声状态网络[J]. 李凡军,乔俊飞.  控制与决策. 2016(08)
[3]基于小世界回声状态网的时间序列预测[J]. 伦淑娴,林健,姚显双.  自动化学报. 2015(09)
[4]一种基于L1范数正则化的回声状态网络[J]. 韩敏,任伟杰,许美玲.  自动化学报. 2014(11)
[5]储备池计算概述[J]. 彭宇,王建民,彭喜元.  电子学报. 2011(10)
[6]回响状态网络输出连接权重的一个稳定训练方法[J]. 宋青松,冯祖仁,李人厚.  控制与决策. 2011(01)
[7]基于Kalman滤波的储备池多元时间序列在线预报器[J]. 韩敏,王亚楠.  自动化学报. 2010(01)



本文编号：3203308