基于神经可塑性机制的回声状态网络自适应学习
发布时间：2021-07-15 12:37
基于神经生物学的实验现象和合理的计算假设,一些神经可塑性机制的计算模型被提出并在提升人工神经网络性能方面发挥着重要作用。通过计算建模模拟生物神经机制的工作过程有助于人类更好地理解神经系统在信息的表达、处理、存储等过程的内在工作机制和生物计算过程。然而,现有的神经可塑性的计算建模同样面临一些需要克服的问题,诸如突触可塑性中的稳定性问题、单一的神经可塑性学习规则所导致的表现不佳以及对生物神经可塑性机制的认识仍然存在不足等。本文以现有的神经可塑性学习规则和神经生物学研究知识为理论基础,以回声状态网络在一些仿真问题和实际任务中的测试实验为应用基础,针对现有的神经可塑机制在储备池优化过程所面临的一些问题进行研究,主要内容如下:（1）现有的突触可塑性学习规则在储层连接权重的调节过程中采用的可塑性规则不仅学习机制相同而且可塑性参数也只局限于单一的全局参数。单一类型的可塑性规则可能无法捕获生物神经可塑性的本质,并且在实际应用中也是不灵活的,进而无法有效地提升系统的学习性能。基于此,本博士论文从单个神经元的角度设计了一种局部突触可塑性学习规则,即不同的储层神经元可以采用完全不同的突触可塑性规则或不同参数...
【文章来源】：东华大学上海市 211工程院校 教育部直属院校
【文章页数】：112 页
【学位级别】：博士
【部分图文】：
回声状态网络模型的基本架构
第一章绪论-19-20Mixx(1.14)式中，滑动阈值θM的大小取决于突触后神经元的平均输出状态。参数ε为权重衰减常数；x0表示突触后神经元的期望输出；E2为2阶均值运算符。在BCM学习规则中，如果突触后神经元的平均输出状态超过所设定的滑动阈值，则突触强度增加；否则，减弱。BCM学习规则的示意图如图1-2所示：图1-2.BCM学习规则以上所述的几类常见的突触可塑性规则都是基于放电率的编码形式。即神经元单位时间内放电尖峰数的大小作为神经元放电率的近似值。在这种情况下神经编码过程仅仅考虑了放电率而忽视了动作电位的产生时刻。除了基于放电率的编码形式，一类基于放电尖峰时刻的编码方式也被用于突触可塑性的计算建模中。5.脉冲时序依赖可塑性进一步的研究发现指出[83-86]，突触传递效率和方向的变化依赖于突触前、后神经元的放电时间窗。目前，这种依赖于神经元脉冲时序的可塑性也已被用于突触可塑性的计算建模。如图1-3所示，两个放电时刻序列两两配对后，选取与突触后神经元放电最近的时刻对用于计算突触修正值。图中，红色表示抑制，蓝色表示兴奋。当突触前神经元动作电位的放电时刻早于突触后神经元动作电位的放电时刻，突触权重则会增强；反之，当突触前神经元动作电位的放电时刻晚于突触后神经元动作电位的放电时刻，突触权重则会减弱。也就是说，权重的增强或是减弱依赖于突触前、后神经元的放电顺序。这种脉冲时序依赖可塑性可以通过如下公式表示：
第一章绪论-21-图1-4.三相脉冲时序依赖可塑性基于动作电位与电压峰值之间的密切相关，一种基于突触前、后神经元的瞬时电压和平均电压的可塑性机制最近被提出[91]。以下公式给出该规则的计算表示：[[][]jiLTDijLTPijjWAxuAxuu(1.17)式中，xi表示突触前神经元i的尖峰序列；uj表示突触后神经元j的电压值；θ为阈值参数；三个参数的上标形式为所对应的低通滤波值。7.基于钙离子的可塑性事实上，无论是基于放电率的编码还是基于放电尖峰时刻的编码的突触可塑性的计算建模都未曾涉及到神经系统的内在分子机制，Shouval等人在其文献[92]中指出基于脉冲时序的可塑性学习规则可能忽略某些对学习和记忆能力至关重要的内在分子机制。文中指出突触可塑性是由多种受体产生的第二信使所诱导的，这些第二信使反过来又激活激酶、磷酸酶和其它下游目标。进一步的研究也指出突触中钙离子浓度在诱导突触可塑性中发挥着关键作用，这也为一些基于脉冲时序依赖可塑性的学习规则提供了进一步的实验解释。最近两个模型基于此提出了两种基于钙离子浓度的可塑性。其中，文献[93]基于哺乳动物CA1区锥体神经元上单个树突棘的生物物理模型，通过描述不同输入刺激下产生的钙离子流量的变化，构建了基于钙离子浓度驱动的激酶和磷酸酶模型。文献[94]通过不同输入刺激下钙离子浓度的变化构建分子级的突触可塑性规则，并通过阈值参数控制长时程增强和长时程抑制。1.3.2内在可塑性的主要研究内容及现状不同于突触强度的调节，单个神经元同样可以通过改变电压门控离子通道的方式来改变其自身内在兴奋性以适应不同的突触输入[74,76]。这种神经元的内在兴奋
【参考文献】：
期刊论文
[1]基于混沌理论与改进回声状态网络的网络流量多步预测[J]. 田中大,李树江,王艳红,王向东. 通信学报. 2016(03)
博士论文
[1]纤维增强复合材料剩余强度模型及寿命预测方法研究[D]. 高建雄.兰州理工大学 2019
[2]回声状态网络时间序列预测方法及应用研究[D]. 黄标兵.吉林大学 2017
[3]基于回声状态网络的多元时间序列预测研究[D]. 许美玲.大连理工大学 2016
[4]回声状态网络的结构参数优化及其应用[D]. 王河山.华东理工大学 2016
[5]神经网络协同学习理论及应用研究[D]. 李雨珂.浙江大学 2015
[6]基于回声状态网络的非线性时间序列预测方法研究[D]. 王建民.哈尔滨工业大学 2011
[7]回声状态网络分类方法及其应用研究[D]. 郭嘉.哈尔滨工业大学 2011
本文编号：3285719
【文章来源】：东华大学上海市 211工程院校 教育部直属院校
【文章页数】：112 页
【学位级别】：博士
【部分图文】：
回声状态网络模型的基本架构
第一章绪论-19-20Mixx(1.14)式中，滑动阈值θM的大小取决于突触后神经元的平均输出状态。参数ε为权重衰减常数；x0表示突触后神经元的期望输出；E2为2阶均值运算符。在BCM学习规则中，如果突触后神经元的平均输出状态超过所设定的滑动阈值，则突触强度增加；否则，减弱。BCM学习规则的示意图如图1-2所示：图1-2.BCM学习规则以上所述的几类常见的突触可塑性规则都是基于放电率的编码形式。即神经元单位时间内放电尖峰数的大小作为神经元放电率的近似值。在这种情况下神经编码过程仅仅考虑了放电率而忽视了动作电位的产生时刻。除了基于放电率的编码形式，一类基于放电尖峰时刻的编码方式也被用于突触可塑性的计算建模中。5.脉冲时序依赖可塑性进一步的研究发现指出[83-86]，突触传递效率和方向的变化依赖于突触前、后神经元的放电时间窗。目前，这种依赖于神经元脉冲时序的可塑性也已被用于突触可塑性的计算建模。如图1-3所示，两个放电时刻序列两两配对后，选取与突触后神经元放电最近的时刻对用于计算突触修正值。图中，红色表示抑制，蓝色表示兴奋。当突触前神经元动作电位的放电时刻早于突触后神经元动作电位的放电时刻，突触权重则会增强；反之，当突触前神经元动作电位的放电时刻晚于突触后神经元动作电位的放电时刻，突触权重则会减弱。也就是说，权重的增强或是减弱依赖于突触前、后神经元的放电顺序。这种脉冲时序依赖可塑性可以通过如下公式表示：
第一章绪论-21-图1-4.三相脉冲时序依赖可塑性基于动作电位与电压峰值之间的密切相关，一种基于突触前、后神经元的瞬时电压和平均电压的可塑性机制最近被提出[91]。以下公式给出该规则的计算表示：[[][]jiLTDijLTPijjWAxuAxuu(1.17)式中，xi表示突触前神经元i的尖峰序列；uj表示突触后神经元j的电压值；θ为阈值参数；三个参数的上标形式为所对应的低通滤波值。7.基于钙离子的可塑性事实上，无论是基于放电率的编码还是基于放电尖峰时刻的编码的突触可塑性的计算建模都未曾涉及到神经系统的内在分子机制，Shouval等人在其文献[92]中指出基于脉冲时序的可塑性学习规则可能忽略某些对学习和记忆能力至关重要的内在分子机制。文中指出突触可塑性是由多种受体产生的第二信使所诱导的，这些第二信使反过来又激活激酶、磷酸酶和其它下游目标。进一步的研究也指出突触中钙离子浓度在诱导突触可塑性中发挥着关键作用，这也为一些基于脉冲时序依赖可塑性的学习规则提供了进一步的实验解释。最近两个模型基于此提出了两种基于钙离子浓度的可塑性。其中，文献[93]基于哺乳动物CA1区锥体神经元上单个树突棘的生物物理模型，通过描述不同输入刺激下产生的钙离子流量的变化，构建了基于钙离子浓度驱动的激酶和磷酸酶模型。文献[94]通过不同输入刺激下钙离子浓度的变化构建分子级的突触可塑性规则，并通过阈值参数控制长时程增强和长时程抑制。1.3.2内在可塑性的主要研究内容及现状不同于突触强度的调节，单个神经元同样可以通过改变电压门控离子通道的方式来改变其自身内在兴奋性以适应不同的突触输入[74,76]。这种神经元的内在兴奋
【参考文献】：
期刊论文
[1]基于混沌理论与改进回声状态网络的网络流量多步预测[J]. 田中大,李树江,王艳红,王向东. 通信学报. 2016(03)
博士论文
[1]纤维增强复合材料剩余强度模型及寿命预测方法研究[D]. 高建雄.兰州理工大学 2019
[2]回声状态网络时间序列预测方法及应用研究[D]. 黄标兵.吉林大学 2017
[3]基于回声状态网络的多元时间序列预测研究[D]. 许美玲.大连理工大学 2016
[4]回声状态网络的结构参数优化及其应用[D]. 王河山.华东理工大学 2016
[5]神经网络协同学习理论及应用研究[D]. 李雨珂.浙江大学 2015
[6]基于回声状态网络的非线性时间序列预测方法研究[D]. 王建民.哈尔滨工业大学 2011
[7]回声状态网络分类方法及其应用研究[D]. 郭嘉.哈尔滨工业大学 2011
本文编号：3285719
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3285719.html
