基于模拟电路的神经形态系统研究
发布时间：2020-12-25 19:45
随着神经网络的快速发展,它已在多个领域大放光彩,但是目前传统的神经网络多采用软件方式在计算机上运行,在实现相同的任务如图像识别等,相比于生物大脑,需要耗费大量的硬件资源与能源。在此基础上,研究人员提出了神经形态计算这一概念,旨在使用大规模的集成电路来模拟并实现神经系统架构,一定程度上模拟生物神经元与神经系统。本文在神经形态系统研究中主要进行了以下三个方面的工作。针对网络算法模型,首先针对MNSIT手写数字识别训练了一个三层人工神经网络,并改变网络大小和结构得到了不同的识别率,当网络规模为784×784×10时,识别率最高为98.43%,在其基础上,使用权值二值化以及脉冲频率编码等方法,转化得到二值化脉冲神经网络,识别率最高为87.31%。为便于后续进行神经形态硬件研究,通过将二值化权值网络映射到忆阻器交叉阵列中得到忆阻器脉冲计算电路模型,并使用Matlab对其进行仿真,仿真结果显示在相同网络规模下,忆阻器脉冲计算电路模型的识别率与二值化脉冲神经网络的识别率几乎相等,识别率最高为87.28%。这表示该模型能正确运行。基于Matlab对忆阻器脉冲计算电路模型的行为仿真,进一步对其进行电路仿...
【文章来源】： 罗鑫 电子科技大学
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
三层前馈神经网络结构示意图
基于脉冲的有监督学习方法[37]主要有两个方面,一方面是基于脉冲,这意味着使用时间信息来训练脉冲神经网络,另一方面在于有监督学习,脉冲神经网络的有监督学习是使用有标记的数据对脉冲神经网络进行训练,即输入到网络的脉冲序列有其对应的输出脉冲序列,在训练过程中,将网络的输出脉冲序列与已有的输出脉冲序列进行对比,根据对比结果对突触权值矩阵进行相应的修改,如此往复,直到输出脉冲序列与对应的目标脉冲序列两者尽量接近或使得突触权值收敛到某一确定值。图2-2所示为监督学习算法的基本框架,图的左边si(t)为样本数据经过一定编码方式得到的输入脉冲序列。在初始的权值矩阵W中,矩阵各个元素是任意生成的随机数,在初始权值矩阵W的作用下,得到第一次的实际输出脉冲序列son(t),将实际输出脉冲序列son(t)目标脉冲序列sdn(t)相比较,经过计算便可得出此时神经网络的误差,然后根据误差和相应的学习规则,对权值矩阵W进行更新:W←W+?W,更新后进行下一次输入,再将所得脉冲输出序列与目标脉冲序列相比较以更新权值矩阵,并将此过程不断重复,直到训练完成。
Hodgkin-Huxley(H-H)模型[39]出现于1952年,其采用一组四次非线性方程描述离子进出神经元的行为,进而模拟生物神经元的膜电位变化情况。H-H模型对应的示意图如图2-3所示。图中RNa、RK和Rl分别代表生物神经元的钠离子通道,钾离子通道以及膜电位泄漏通道电阻,其中RNa,RK为可变电阻,Rl为固定电阻。相应的ENa、EK和El分别表示神经细胞膜内外的钠离子和钾离子浓度差导致的钠离子平衡电压,钾离子平衡电压和漏电平衡电压。电容C表示神经细胞膜脂质双层的电容,膜电压V表示神经细胞膜内外电压差,通过对H-H模型进行行为仿真可以得到膜电压V随输入脉冲的变化曲线,当有脉冲输入时,膜电压V将升高并在达到阈值电压时产生脉冲输出。H-H模型膜电位变化过程可由图2-4表示。图中黄色虚线表示有脉冲输入达到神经元,图中画出了5个脉冲输入,可以看出,从静息状态开始,当有脉冲到来时,神经元膜电位上升,但由于泄漏通道的存在,在脉冲间隔期,膜电位缓慢下降,直到下一个脉冲输入到来时再上升,如此反复,直到膜电位上升至阈值电压Vth(图中红色虚线),此时神经元产生一个输出脉冲且膜电位V迅速放电下降然后逐渐恢复到平衡电压El,若有持续脉冲输入,则神经元重复上述过程。当外界多个脉冲输入间隔较大时,神经元将由于泄漏电流的存在而无法达到阈值。在脉冲发放到神经元恢复到平衡电压这一过程中,神经元对脉冲输入无反应,称之为不应期。H-H模型能非常精确地模拟生物神经元的神经冲动这一电生理动作,但另一方面,正是由于其追求高精度,这使得其方程计算特别复杂,运算量较大,当神经网络规模快速扩大时,需要耗费巨量资源,因此难以实现大规模神经网络的实时仿真。
【参考文献】：
期刊论文
[1]神经形态器件研究进展与未来趋势[J]. 王洋昊,刘昌,黄如,杨玉超. 科学通报. 2020(10)
[2]脉冲神经网络的监督学习算法研究综述[J]. 蔺想红,王向文,张宁,马慧芳. 电子学报. 2015(03)
本文编号：2938279
【文章来源】： 罗鑫 电子科技大学
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
三层前馈神经网络结构示意图
基于脉冲的有监督学习方法[37]主要有两个方面,一方面是基于脉冲,这意味着使用时间信息来训练脉冲神经网络,另一方面在于有监督学习,脉冲神经网络的有监督学习是使用有标记的数据对脉冲神经网络进行训练,即输入到网络的脉冲序列有其对应的输出脉冲序列,在训练过程中,将网络的输出脉冲序列与已有的输出脉冲序列进行对比,根据对比结果对突触权值矩阵进行相应的修改,如此往复,直到输出脉冲序列与对应的目标脉冲序列两者尽量接近或使得突触权值收敛到某一确定值。图2-2所示为监督学习算法的基本框架,图的左边si(t)为样本数据经过一定编码方式得到的输入脉冲序列。在初始的权值矩阵W中,矩阵各个元素是任意生成的随机数,在初始权值矩阵W的作用下,得到第一次的实际输出脉冲序列son(t),将实际输出脉冲序列son(t)目标脉冲序列sdn(t)相比较,经过计算便可得出此时神经网络的误差,然后根据误差和相应的学习规则,对权值矩阵W进行更新:W←W+?W,更新后进行下一次输入,再将所得脉冲输出序列与目标脉冲序列相比较以更新权值矩阵,并将此过程不断重复,直到训练完成。
Hodgkin-Huxley(H-H)模型[39]出现于1952年,其采用一组四次非线性方程描述离子进出神经元的行为,进而模拟生物神经元的膜电位变化情况。H-H模型对应的示意图如图2-3所示。图中RNa、RK和Rl分别代表生物神经元的钠离子通道,钾离子通道以及膜电位泄漏通道电阻,其中RNa,RK为可变电阻,Rl为固定电阻。相应的ENa、EK和El分别表示神经细胞膜内外的钠离子和钾离子浓度差导致的钠离子平衡电压,钾离子平衡电压和漏电平衡电压。电容C表示神经细胞膜脂质双层的电容,膜电压V表示神经细胞膜内外电压差,通过对H-H模型进行行为仿真可以得到膜电压V随输入脉冲的变化曲线,当有脉冲输入时,膜电压V将升高并在达到阈值电压时产生脉冲输出。H-H模型膜电位变化过程可由图2-4表示。图中黄色虚线表示有脉冲输入达到神经元,图中画出了5个脉冲输入,可以看出,从静息状态开始,当有脉冲到来时,神经元膜电位上升,但由于泄漏通道的存在,在脉冲间隔期,膜电位缓慢下降,直到下一个脉冲输入到来时再上升,如此反复,直到膜电位上升至阈值电压Vth(图中红色虚线),此时神经元产生一个输出脉冲且膜电位V迅速放电下降然后逐渐恢复到平衡电压El,若有持续脉冲输入,则神经元重复上述过程。当外界多个脉冲输入间隔较大时,神经元将由于泄漏电流的存在而无法达到阈值。在脉冲发放到神经元恢复到平衡电压这一过程中,神经元对脉冲输入无反应,称之为不应期。H-H模型能非常精确地模拟生物神经元的神经冲动这一电生理动作,但另一方面,正是由于其追求高精度,这使得其方程计算特别复杂,运算量较大,当神经网络规模快速扩大时,需要耗费巨量资源,因此难以实现大规模神经网络的实时仿真。
【参考文献】：
期刊论文
[1]神经形态器件研究进展与未来趋势[J]. 王洋昊,刘昌,黄如,杨玉超. 科学通报. 2020(10)
[2]脉冲神经网络的监督学习算法研究综述[J]. 蔺想红,王向文,张宁,马慧芳. 电子学报. 2015(03)
本文编号：2938279
本文链接：https://www.wllwen.com/kejilunwen/dianzigongchenglunwen/2938279.html
