基于数据并行的BP神经网络训练算法

发布时间：2020-12-26 22:00

　　BP(Back Propagation)算法,即误差反传训练算法,具有良好的非线形逼近能力,是人工神经网络应用最广泛的训练算法。但是BP算法存在训练速度慢、易陷入局部极小值等缺陷。以弹性BP算法为代表的BP改进算法虽然在一定程度上加快了神经网络的训练,但是对于训练规模巨大的神经网络,这些改进算法仍然不能满足实际应用的要求。考虑到神经网络本身所具有的并行处理能力,可以利用并行计算来解决大规模神经网络训练问题。BP网络并行化有结构并行和数据并行两种方法。在基于数据并行的BP算法中,训练样本被划分给不同的处理机,各处理机对同样的神经网络进行训练,然后统计所有的训练结果更新神经网络。这种方法的优点是处理机之间的通信量少、并行粒度大。在基于MPI(消息传递接口)的并行环境下,通过局域网内互联的PC机,组建了一个机群训练平台。采用主/从结构的并行模型,将训练样本数据平均分配到各从节点,由主节点收集并统计训练结果,实现了BP神经网络训练的并行化。同时根据神经网络初始权值随机性的特点,在并行BP算法的基础上作出了改进。在训练初期,各个节点分别对各自的神经网络进行随机初始化,然后同时对其进行训练,在一定... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：57 页

【学位级别】：硕士

【部分图文】：

误差函数曲面

以二维的情况为例，图2.5为函数11 12E = f ( w , w)的曲面图形，图2.6为该函数图形的平面等高图。图2.5 误差函数曲面图2.6 函数的平面等高图图2.6显示了梯度下降法的过程，即在初始点处求得该点的梯度，在梯度的负方向上通过固定的步长a找到下一个点，并重复以上过程最终找到了该函数的极小值点。由于梯度的方向是函数值增长最快的方向，那么沿梯度相反的方向即为函数减少最快的方向，如果每次都在梯度相反的方向上搜索，经过若干步之后可以到达极小值点。11faw 12faw tW11W12

本实验利用BP神经网络解决函数逼近的问题。逼近的函数为正弦函数。样本数据为51组；网络结构为，输入层1个节点，隐含层8个节点，输出层1个节点；最小误差为0.0001；最大迭代次数为200。原始算法和弹性算法的误差曲线如图2.7所示。(a) (b)图 2.7 (a)原始 BP 算法的训练误差曲线 (b)弹性 BP 算法的训练误差曲线从图 2.7 中可以看出，弹性 BP 算法在训练速度和精度上较原始 BP 算法有较大的提高。在相同的迭代步数之内，弹性 BP 算法达到了 10-3的精度，而原始 BP 算法只达到了 10-1。在最初 40 步迭代内，弹性算法已经具有非常快的训练速度，如果精度要求不是很高，则只需要很少的步数即可收敛。而原始 BP 算法的下降速度则非常缓慢，在 60 步之后已经趋于平缓。

【参考文献】：
期刊论文
[1]一种并行BP神经网络的动态负载平衡方案[J]. 赵莉,程荣.  计算机技术与发展. 2006(07)
[2]BP算法改进方法的研究进展[J]. 谭显胜,周铁军.  怀化学院学报(自然科学). 2006(02)
[3]基于数据并行的神经网络预测模型[J]. 胡浩民,马德云.  计算机工程. 2005(11)
[4]RPROP算法在测井岩性识别中的应用[J]. 张治国,杨毅恒,夏立显.  吉林大学学报(地球科学版). 2005(03)
[5]一种新的BP算法并行策略[J]. 胡月,熊忠阳.  计算机工程. 2005(08)
[6]一个面向大规模BP神经网络并行算法[J]. 李旗堂,李娜,宋国杰.  河南广播电视大学学报. 2004(01)
[7]BP神经网络学习算法的改进及其应用[J]. 吴凌云.  信息技术. 2003(07)
[8]基于机群的并行BP算法的设计与实现[J]. 高曙.  武汉理工大学学报(交通科学与工程版). 2002(05)
[9]一种综合改进的BP神经网络及其实现[J]. 刘刚.  武汉理工大学学报. 2002(10)
[10]BP网络改进算法的性能对比研究[J]. 高雪鹏,丛爽.  控制与决策. 2001(02)

硕士论文
[1]基于MPI的并行计算研究[D]. 张治宏.中国地质大学（北京） 2006
[2]动态隧道技术在BP网络中的应用与研究[D]. 刘君.重庆大学 2005



本文编号：2940523