回响状态网络及概念机网络的储备池模型优化研究

发布时间：2017-04-10 18:45

  本文关键词：回响状态网络及概念机网络的储备池模型优化研究，，由笔耕文化传播整理发布。

【摘要】：回响状态网络(echo state network,ESN)是一种典型的储备池计算(reservoir computing,RC)模型,它将低维的输入信号映射到一个高维的状态空间,再通过简单的线性回归学习算法将高维的信息转换为低维信号输出。这个高维状态空间就是储备池,它大大减小了传统人工神经网络的计算复杂度并克服其记忆消减问题。储备池作为关键的处理单元,其输入编码方式直接影响了输出层的读出精度。因此,储备池模型优化一直是该领域的一个严重热点,也出现了许多复杂网络模型。其中,皮质层多簇结构以其丰富的动态特性及其仿生性而备受关注。但网络算法中存在的随机性可能导致网络计算能力存在较大波动,且算法参数难以调节。因而需要对储备池进行进一步优化。另一方面,最新提出的概念机递归神经网络(Conceptor),它仍然采用储备池计算,且其动力学模块具有很好的可扩展性。但目前,其网络结构设计单一,仅采用传统的随机网络,且其节点耦合性较强,计算能力有限。因此,对于Conceptor网络的储备池优化设计也尤为重要。对于ESN,我们提出了两种储备池优化模型:一方面是在皮质层多簇结构的基础上,结合动态学习算法对网络进行结构调整,提出一种基于先验数据导向的多簇储备池,利用先验数据样本离线调整储备池拓扑结构,使其更为适应该类计算任务。通过Mackey-Glass预测实验发现,相较于传统随机网络和皮质层多簇网络,基于先验数据导向的多簇储备池在精度上有明显提高,并且具有更高的结构复杂度和小世界特性。另一方面,在多簇结构的基础上,结合神经元的内部可塑性(intrinsic plasticity,IP)学习机制,提出基于内部可塑性的多簇储备池。分析了两种IP规则对神经元输入响应的影响,并通过NARMA序列预测实验验证其有效性。通过IP学习的多簇储备池突破了建网过程中的随机性所造成的精度瓶颈,大大提高了随机储备池和皮质层多簇储备池的预测精度,且基于李氏IP规则的多簇储备池具有更为突出的精度优势。对于Conceptor网络,通过研究复杂网络结构,提出基于洛伦兹时间序列相空间重构的复杂网络储备池,分析网络结构特性,对比该网络与随机网络、皮质层多簇网络对输入模型的重构能力,实验表明,相空间重构网络对该信号的重构计算具有更小的误差,且在改变载入模型数量的情况下,依然保持其优势。
【关键词】：储备池计算 复杂网络 多簇 储备池
【学位授予单位】：重庆大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP18;O157.5
【目录】：

• 摘要3-4
• abstract4-8
• 1 绪论8-12
• 1.1 储备池计算研究背景及意义8
• 1.2 本课题国内外研究现状8-11
• 1.3 本文主要研究内容11-12
• 2 储备池神经计算模型12-24
• 2.1 引言12
• 2.2 回响状态网络（ESN）12-15
• 2.2.1 回响状态神经网络计算模型12-14
• 2.2.2 网络训练算法14-15
• 2.3 概念机递归神经网络（Conceptor）15-22
• 2.3.1 概念机的计算机制模型16-19
• 2.3.2 概念机的逻辑操作19
• 2.3.3 自发式概念机计算模型19-20
• 2.3.4 概念机网络的记忆管理20-22
• 2.4 本章小结22-24
• 3 基于先验数据导向的多簇ESN储备池24-38
• 3.1 皮质层多簇网络24-28
• 3.1.1 皮质层多簇网络构建算法24-26
• 3.1.2 复杂网络基本测度26
• 3.1.3 网络结构分析及参数选择26-28
• 3.2 基于先验数据导向的多簇储备池28-29
• 3.3 Mackey-Glass混沌时间序列预测实验29-37
• 3.3.1 实验设计29-31
• 3.3.2 实验结果及分析31-37
• 3.4 本章小结37-38
• 4 基于内部可塑性的多簇ESN储备池38-48
• 4.1 神经元的内部可塑性38-39
• 4.2 两种IP规则的算法分析39-42
• 4.3 基于IP规则的多簇ESN储备池构建42
• 4.4 NARMA混沌时间序列预测实验42-47
• 4.4.1 实验设计42-44
• 4.4.2 实验结果及分析44-47
• 4.5 本章小结47-48
• 5 基于相空间重构法的概念机储备池计算48-66
• 5.1 根据时间序列构建复杂网络48-55
• 5.1.1 可见图法建网48-49
• 5.1.2 相空间重构法建网49-50
• 5.1.3 几种时间序列的复杂网络结构分析50-55
• 5.2 基于相空间重构网络的概念机重构实验55-62
• 5.2.1 自发性概念机的内容寻址记忆系统55-56
• 5.2.2 混合无理数周期正弦信号的重构实验56-57
• 5.2.3 实验结果及分析57-62
• 5.3 概念机递归神经网络的延伸应用62-64
• 5.4 本章小结64-66
• 6 总结与展望66-68
• 6.1 总结66
• 6.2 展望66-68
• 致谢68-70
• 参考文献70-76
• 附录76
• A. 作者在攻读硕士学位期间发表的论文76
• B. 作者在攻读硕士学位期间参与的项目76

【相似文献】

中国期刊全文数据库 前3条

1 ;概念机种特别介绍[J];大众科技;2003年01期

2 ;清雅脱俗DE日本最新概念机[J];科学大观园;2004年10期

3 ;[J];;年期

中国重要报纸全文数据库 前3条

1 上海 本垒打;移动的魔盒[N];电脑报;2002年

2 上海 顾鸣;异形来了[N];电脑报;2004年

3 本报记者 吕静;3D电视：角色众多的“独角戏”[N];中国经营报;2010年

中国硕士学位论文全文数据库 前1条

1 钟玲;回响状态网络及概念机网络的储备池模型优化研究[D];重庆大学;2016年

  本文关键词：回响状态网络及概念机网络的储备池模型优化研究，由笔耕文化传播整理发布。

本文编号：297354