基于进化算法的神经网络研究与优化

发布时间：2020-03-26 15:07

【摘要】：随着智能计算的快速发展,进化算法与神经网络作为智能计算的重要组成部分已得到越来越普及的应用。其中,以BP神经网络及其改良模型的应用较为普遍。BP神经网络是一个遵循误差逆向传播,并训练的前向神经网络。其采用梯度下降法进行学习,经过不停地修正权值与阈值,达到误差最小。BP神经网络具有拓扑结构简单,非线性处理能力及自我学习等特点。尽管BP神经网络具有很多显著的长处,但是在现实应用中也留有一些缺陷:网络结构较难确定,网络训练参数较难设定,网络的权值较难选取,训练算法较难选择,训练精度较低,易坠入局部极值等。针对BP神经网络存在的以上问题,多种优化的方法与调优的模型相继被提出。其中,采用进化算法结合BP神经网络来调优性能,已经得到越来越多学者们的重视。然而在此类方法中,多数只采用进化算法结合逆向传播算法,而忽视了神经网络本身结构与其算法的优化。在本文中,首先在神经网络训练的基础上,根据网络每次训练的误差值自适应选取隐含层节点个数,从而避免人工设定网络结构的盲目性。其次,针对进化算法结合神经网络,其易产生局部最优的问题,提出改进的遗传算法与改进的粒子群优化算法。其中,主要包括改进的遗传算法结合网络训练,并选取最佳训练参数;及改进的粒子群优化算法结合网络训练,并选取最佳的权值矩阵,从而提高神经网络的训练精度。最终,基于优化的算法结合BP神经网络构建IGAPSONN模型,并将其运用于现实问题中。本文主要工作与创新点如下:(1)针对神经网络的隐含层节点个数较难选取的问题,根据网络每次训练的均方误差值,提出自适应选取网络隐含层节点数的算法。该算法综合考虑网络输入与输出节点个数对隐含层节点个数的影响,限定隐含层节点个数的范围,并且自适应选取使网络误差最小的隐含层节点个数,从而避免了人工设定节点个数的盲目性。(2)针对神经网络训练参数学习率与动量因子难以确定的问题,提出改进的遗传算法结合网络训练,动态选取学习率与动量因子的算法。在网络训练中,该算法根据学习率与动量因子的参数范围,并设定染色体结构。在进化过程中加入多点交叉与多点变异的操作使每个个体可以得到完全的进化,使网络训练参数动态被选取,从而避免手动设定参数的盲目性。(3)针对神经网络权值选取不精确的问题,提出改进的粒子群优化算法结合网络训练,并动态选取权值矩阵的算法。在网络训练中,该算法提出动态惯性权重与参数制约使参数自适应选取,平衡算法的局部搜索性能与全局搜索性能。同时,该算法结合传统的差分进化算法使粒子进行变异,并且提出在动态邻域内粒子进行交叉操作,增加粒子间的交互,减少聚集,有利于粒子跳出局部最优,并提升粒子多样性,动态选取精确的权值,从而避免神经网络训练精度低。(4)本文基于隐含层节点数自适应选取算法,学习率与动量因子动态选取算法,改进的粒子群优化算法,以上结合BP神经网络构建IGAPSONN模型,并运用该模型于实际问题中。相比当前通用的神经网络模型,仿真实验分别从模型的训练精度,正确率及算法性能三方面验证了所提模型的精确性与有效性。
【学位授予单位】：安徽大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP183

【相似文献】