脉冲神经网络相对顺序学习与转化算法研究

发布时间：2020-07-05 13:03

【摘要】：作为第三代人工神经网络,脉冲神经网络具有更高的生物似真性和计算效能,是未来类脑计算及人工智能的重要研究领域之一。但由于脉冲编码、计算等相关理论的缺乏,现有的学习算法训练效率仍然较低,效果也不令人满意,导致目前脉冲神经网络的实用性不高。发展更高效的学习算法,以及将训练好的深度学习模型直接转化为脉冲模型是提高脉冲神经网络性能的两种重要途径。本文围绕提高脉冲神经网络实用性的问题,重点研究了基于脉冲相对顺序的新型学习算法和低延时、低成本的脉冲转化方法,主要的研究内容和创新点包括:1.以脉冲相对顺序为指导的脉冲神经网络学习算法。现有的脉冲神经网络使用人为精确设定的固定脉冲为学习目标,存在潜在的输入模式与学习目标不匹配的问题。本文提出了以脉冲相对顺序为指导的学习算法,不需要设计具体精确的脉冲作为学习目标,以输出层神经元的脉冲顺序为监督信号指导突触权重的更新。针对神经元的不同状态,使用不同的误差函数,提高了神经元的学习能力和效率。丰富的实验验证了脉冲相对顺序学习算法的高鲁棒性,高效的学习效率及优良的泛化能力。最后,将该算法训练的脉冲网络与传统人工神经网络模型进行对比。相同网络规模的条件下,脉冲模型的识别性能与MLP模型相当,但推理时只需要MLP模型15%的运算量,凸显了脉冲机制的高能效特性。2.基于激活值量化的低推理延时的脉冲神经网络转化方法。传统方法转化深度神经网络得到的脉冲模型需要较长的仿真时间产生大量的脉冲来模拟源网络的输入输出关系,以获得与源网络相当的识别性能。通过分析深度学习模型激活函数与脉冲神经元等效替换的内在要求,发现脉冲神经网络推理延时与激活值精度存在正相关关系,提出了基于激活值量化的深度脉冲神经网络实现方法。针对激活值量化,提出了基于再训练的逐层量化算法,通过等间隔扫描和L2量化误差最小化方法获得最佳的量化分辨率,并进行逐层量化和再训练,得到了性能基本无损的量化网络模型。以量化网络模型为基础进行脉冲转化,只需要少量脉冲就能精确模拟激活值之间的比例关系,减少了脉冲网络的推理延时,降低了网络负载。3.卷积神经网络池化层及softmax层的脉冲转化方法。卷积神经网络的脉冲化是提高其实时性及能效的重要途径。针对现有的转化方法实现复杂,成本较大的缺陷,提出了池化融合技术和softmax层的直接映射方法。通过衰减卷积层权重的方式将卷积层脉冲标定为池化脉冲,将平均池化功能融合进了卷积层脉冲神经元;通过增加卷积层池化区域神经元之间的抑制突触连接,并把池化区域产生的脉冲标定为相应的池化脉冲,将最大值池化功能融合进了卷积层脉冲神经元。通过改变输出层神经元的行为模式,使其只进行膜电位累积,而不发射脉冲,从而能够直接使用softmax层的权重,实现了 softmax层的脉冲化。对于典型的卷积-池化堆叠网络(2*2池化),这些方法使转化得到的脉冲模型减少约20%的神经元和80%的脉冲数量。
【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP183
【图文】：

生物神经元

逦Ｓｙ—Ｓｅ逡逑图１－２生物神经元ｌ４１】逡逑人类大脑包含超过百亿的神经元细胞，如图１－２所示，每个神经元包含胞逡逑体（Ｓｏｍａ），轴突（Ａｘｏｎ），树突（Ｄｅｎｄｒｉｔｅｓ）和突触（Ｓｙｎａｐｓｅ）。神经元之间逡逑通过树突和突触进行连接，每个神经元平均与其他１0３个神经元相连接。巨量的逡逑神经元和丰富的连接构成了大脑这个大规模的神经网络系统。研究表明，神经元逡逑之间信息的传递通过电脉冲信号完成，这些电脉冲被称为动作电位，或脉冲逡逑（Ｓｐｉｋｅ）。脉冲持续时间约为ｌｍｓ，幅值可达到１００ｍＶ。受神经科学研究成果的逡逑启发，人们提出了脉冲神经网络模型，进一步探索大脑信息处理与存储的机制。逡逑本节将从脉冲神经元模型、网络拓扑结构和相关应用等方面对其进行简单介绍。逡逑１．２．１脉冲神经元模型逡逑脉冲神经网络与前两代人工神经网络最大的不同在于其网络的基本组成单逡逑元为脉冲神经元。传统神经元模型在每一次推理计算中均会被激活，并将运算结逡逑果传播出去

脉冲序列,脉冲,神经元,单层

Ｊ＇Ｌ人诀逡逑}瑁″义贤迹保创竽陨窬珏义夏壳把芯亢陀τ米钗惴旱氖堑ゲ闱袄⊥纭Ｍ迹保滴恢值湫偷牡ゲ闱板义侠∪嗔龀迳窬缃峁埂Ｊ淙爰だü嗦肷窬ǚ锹龀迳窬Ｐ停┍诲义媳嗦氤删哂惺笨招畔⒌穆龀逍蛄心Ｊ剑淙氲ゲ愕穆龀迳窬８貌懵龀迳窬义献魑哂醒澳芰Φ纳窬ü八惴ǖ难盗罚髡淮トㄖ兀蕴囟ǖ氖溴义先肼龀迥Ｊ阶龀鎏囟ǖ南煊Γㄈ缡欠袷涑雎龀澹欠裨谔囟ㄊ奔涞闶涑雎龀宓龋义洗佣迪侄允淙胧莸难啊８菽持止嬖颍匝吧窬氖涑鼋薪饴耄渝义隙迪致龀迳窬绲木咛逵τ谩ｅ义希澹睿悖铮洌椋睿珏呜瓔p㈣邋ｒｅａｄｏｕｔ逡逑ｎｅｕｒｏｎｓ逦ｎｅｕｒｏｎｓ逡逑｜＾Ｔ１逡逑ｓｔｉｍｕｌｉ逦￣￣￣逡逑：R%逡逑、逦丫一逦＾Ｊ邋Ｖ逦ｙ逦，逡逑Ｅｎｃｏｄｉｎｇ逦Ｌｅａｒｎｉｎｇ邋Ｒｅａｄｏｕｔ逡逑图１－５单层前馈全相

【参考文献】