协同学习机制在小体量与抗噪神经网络中的应用研究

发布时间：2022-02-17 22:17

　　突触可塑性（synaptic plasticity,SP）与内源可塑性（intrinsic plasticity,IP）是生物脑学习的重要法则。目前,人工神经网络通过借鉴SP的原理引入了权重的概念。尽管少数研究也考虑了IP,但两者协同工作对人工神经网络的影响尚不完全清楚。目前,协同学习的研究都是基于信息熵的浅层网络,且只研究过在数据拟合上的应用。具有抗噪能力的小体量神经网络是当前神经网络领域研究的重要方向,而大脑正是高效节能且抗噪的典范,据推测两类可塑性的协作可能为大脑中高效而复杂的信息处理提供了神经基础。本论文中,我们探究了SP和IP在神经网络中的协同学习情况,对比了基于信息熵和非信息熵的损失函数下的协同作用效果,并在数据拟合、多分类任务、抗噪能力等多种应用上进行了实验。主要研究结果如下:（1）数据拟合应用中,协同学习算法能加快网络的学习速度并提高网络拟合的质量。采用局部信息最大化所代表的IP规则与误差熵最小化算法的突触学习规则结合使用,提高了网络学习的速度,和质量。探讨了隐藏层和输出层每个神经元激活函数斜率和偏移的变化,IP规则增加了激活函数斜率的平均值。（2）在一定条件下,协同学... 

【文章来源】：电子科技大学四川省211工程院校985工程院校教育部直属院校

【文章页数】：69 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景及研究意义
    1.2 生物神经系统可塑性
        1.2.1 突触可塑性
        1.2.2 内源可塑性
    1.3 人工神经网络及其研究进展
        1.3.1 人工神经网络的发展历程
        1.3.2 人工神经网络训练方法
        1.3.3 内源可塑性的研究进展
        1.3.4 协同学习的研究进展
    1.4 本文研究内容与结构安排
        1.4.1 研究内容
        1.4.2 结构安排
第二章 基于信息论的神经网络协同学习算法设计
    2.1 神经元内源可塑性数学模型
        2.1.1 基于放电率神经元模型的内源可塑性规则
        2.1.2 基于脉冲神经元模型的内源可塑性规则
    2.2 神经网络突触可塑性规则
        2.2.1 人工神经网络中的权重调整方法
        2.2.2 误差熵最小化算法
    2.3 神经网络协同学习算法设计
        2.3.1 信息论前馈神经网络协同学习算法
        2.3.2 IP与突触学习的关系
    2.4 本章小结
第三章 基于协同学习的神经网络应用研究
    3.1 IP-ANN在数据拟合上的实验
        3.1.1 数据集及网络结构
        3.1.2 实验结果与分析
    3.2 IP-ANN在多分类任务上的实验
        3.2.1 实验数据集及网络结构
        3.2.2 实验结果及分析
    3.3 IP-ANN在噪声环境下的实验
        3.3.1 噪声的说明
        3.3.2 实验结果及分析
    3.4 基于非信息熵损失函数的协同学习方法
        3.4.1 损失函数的介绍
        3.4.2 数据集介绍及网络结构
        3.4.3 实验结果及分析
    3.5 本章小结
第四章 总结与展望
    4.1 总结
    4.2 展望
致谢
参考文献
攻硕期间取得的成果


【参考文献】：
博士论文
[1]神经网络协同学习理论及应用研究[D]. 李雨珂.浙江大学 2015



本文编号：3630200