基于非线性滤波优化的前馈神经网络训练方法研究

发布时间：2017-08-10 06:14

  本文关键词：基于非线性滤波优化的前馈神经网络训练方法研究

  更多相关文章： 非线性滤波 多层感知器神经网络 径向基神经网络 状态空间模型 高斯-牛顿迭代

【摘要】：人工神经网络技术(ANN)经过几十年的发展,其相关的理论体系也越发完善。随着研究的不断深入,其在模式识别、故障诊断、最优控制、目标追踪以及金融时序预测等领域取得了广泛的研究和应用。决定神经网络使用效果好坏的关键在于训练算法,已有的训练算法对于问题规模较小、训练数据未受噪声污染的情况能够取得较为理想的训练效果。但是在当前新形势的应用背景下,问题规模往往较大、训练数据也更易受噪声污染,传统的训练算法无论是在收敛速度还是在训练精度上均不能满足要求。非线性滤波算法作为非线性系统状态的最优估计,已经广泛应用与参数估计、系统辨识等领域,其对于噪声的适应能力强,具有全局优化的能力。经过国内外众多专家学者的共同努力,已经成功将非线性滤波算法应用于神经网络的训练,取得了良好的训练效果。本文在具体分析神经网络以及非线性滤波理论发展现状的基础上,提出了两种基于最新非线性滤波研究成果的前馈神经网络训练算法。现有利用扩展卡尔曼滤波(EKF)对多层感知器神经网络进行训练的过程中,存在较大的一阶舍入误差从而影响神经网络的训练效果;利用不敏卡尔曼滤波(UKF)对多层感知器训练过程中存在参数选取复杂,容易产生非正定的问题。针对以上问题,本文首先提出了一种基于最新非线性滤波研究成果——容积卡尔曼滤波(CKF)的多层感知器训练方法。考虑到非线性滤波算法是在状态空间模型下实施的,首先将多层感知器的连接权值以及偏置节点作为状态向量,将网络的输出作为量测建立多层感知器的状态空间模型;然后利用系统的量测信息并结合CKF算法得到连接权值向量的最优估计,从而完成网络的训练;最后通过一个典型的非线性系统方程以及Mackey-Glass时序预测对所提方法进行验证,结果表明所提训练方法相比于已有方法不仅训练精度有所提高,而且效率更好。考虑到高斯-牛顿迭代策略能够充分利用已有信息来提高非线性模型参数的估计精度,本着提高已知信息的的利用率、进一步提高神经网络的训练精度为目的,提出了一种基于迭代容积卡尔曼滤波(ICKF)算法的径向基神经网络训练方法。首先详细分析径向基网络与多层感知器网络隐含层激活函数工作方式的不同;其次将径向基函数的中心节点以及输出层的连接权值共同作为状态向量建立径向基网络的状态空间模型;然后将ICKF引入径向基网络的训练;最后通过一个单输入单输入以及一个多输入多输出模型对所提方法进行验证,结果表明所提方法不仅能有效提高单输入单输出模型的训练精度,而且对于多输入多输出模型也同样适用。
【关键词】：非线性滤波 多层感知器神经网络 径向基神经网络 状态空间模型 高斯-牛顿迭代
【学位授予单位】：河南大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP183
【目录】：

• 摘要4-6
• ABSTRACT6-10
• 1 绪论10-18
• 1.1 研究背景及意义10-11
• 1.2 国内外研究现状11-15
• 1.2.1 非线性滤波理论11-13
• 1.2.2 前馈神经网络训练方法13-15
• 1.3 论文研究内容和结构安排15-18
• 2 基础知识18-32
• 2.1 引言18
• 2.2 非线性系统建模18-19
• 2.3 典型非线性滤波器设计与实现19-25
• 2.3.1 扩展卡尔曼滤波19-20
• 2.3.2 不敏卡尔曼滤波20-21
• 2.3.3 容积卡尔曼滤波21-23
• 2.3.4 粒子滤波23-25
• 2.4 典型人工神经网络结构及训练方法25-30
• 2.4.1 前馈神经网络25-26
• 2.4.2 反馈神经网络26-29
• 2.4.3 自组织神经网络29-30
• 2.5 小节30-32
• 3 基于容积卡尔曼滤波多层感知器训练方法32-40
• 3.1 引言32-33
• 3.2 多层感知器结构33-34
• 3.2.1 多层感知器结构模型33
• 3.2.2 多层感知器状态空间模型33-34
• 3.3 算法设计与实现34-36
• 3.4 仿真实验与结果分析36-39
• 3.4.1 仿真环境设置36-37
• 3.4.2 仿真结果与分析37-39
• 3.5 小结39-40
• 4 基于迭代容积卡尔曼滤波径向基网络训练方法40-52
• 4.1 引言40-41
• 4.2 高斯-牛顿迭代策略41-42
• 4.3 迭代容积卡尔曼滤波42-43
• 4.4 径向基网络结构43-46
• 4.4.1 径向基网络结构44-45
• 4.4.2 径向基网络状态空间模型45-46
• 4.5 算法设计与实现46-48
• 4.6 仿真实验与结果分析48-51
• 4.6.1 仿真场景设置48-50
• 4.6.2 仿真结果与分析50-51
• 4.7 总结51-52
• 5 总结与展望52-54
• 5.1 总结52-53
• 5.2 展望53-54
• 参考文献54-60
• 致谢60-62
• 攻读学位期间的科研成果62-63

【相似文献】

中国期刊全文数据库 前10条

1 徐晋,綦振法;前馈神经网络新型综合算法[J];武汉大学学报(工学版);2004年01期

2 徐晋;前馈神经网络学习新算法及其仿真[J];哈尔滨商业大学学报(自然科学版);2004年01期

3 徐晋;基于Gauss Newton-NL2SOL法的前馈神经网络及应用[J];重庆大学学报(自然科学版);2004年04期

4 刘宁;基于重置的拟牛顿动态前馈神经网络[J];辽宁工程技术大学学报;2004年04期

5 周小燕,徐晋;一种基于重置的变结构前馈神经网络[J];南昌大学学报(理科版);2004年04期

6 ;图书推介[J];科技导报;2013年17期

7 曲建岭,王磊,高峰;利用前馈神经网络进行气体定性分析[J];仪器仪表学报;2000年05期

8 周志华,陈兆乾,陈世福;利用遗传算法改善前馈神经网络容错性[J];计算机研究与发展;2001年09期

9 徐耀群,孙枫,张家海,郝燕玲;前馈神经网络的一个新的混沌学习算法[J];哈尔滨商业大学学报(自然科学版);2001年01期

10 徐善针,洛永平,崔荣一;三层前馈神经网络的异联想算法[J];延边大学学报(自然科学版);2001年04期

中国重要会议论文全文数据库 前10条

1 陈振湘;陈剑勇;徐慎初;钟金水;;具有刺激-反应阈值的前馈神经网络[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

2 梁久祯;黄德双;何新贵;;前馈神经网络的一种梯度—牛顿耦合学习算法[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

3 李永敏;吉吟东;朱善君;孙增圻;;一种基于规则的前馈神经网络及其学习算法[A];1998年中国智能自动化学术会议论文集（上册）[C];1998年

4 孙德保;王凯;;前馈神经网络的容错性研究[A];1998年中国智能自动化学术会议论文集（上册）[C];1998年

5 梁循;杜继宏;夏绍玮;杨振斌;;前馈神经网络的补偿方法[A];1994年中国控制会议论文集[C];1994年

6 仉宝玉;陈义俊;;前馈神经网络快速学习算法及应用[A];'2003系统仿真技术及其应用学术交流会论文集[C];2003年

7 梁久祯;黄德双;何新贵;;多输入单输出前馈神经网络映射机理研究[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

8 寇纪淞;徐博艺;刘刚;;用遗传算法训练前馈神经网络的权值[A];1994中国控制与决策学术年会论文集[C];1994年

9 杨华民;姜会林;;前馈神经网络泛化能力评估方法研究[A];新世纪 新机遇 新挑战——知识创新和高新技术产业发展（上册）[C];2001年

10 张代远;;一种前馈神经网络的新型分层优化算法[A];第九届全国信号处理学术年会（CCSP-99）论文集[C];1999年

中国博士学位论文全文数据库 前5条

1 贺彦林;前馈神经网络结构设计研究及其复杂化工过程建模应用[D];北京化工大学;2016年

2 侯木舟;基于构造型前馈神经网络的函数逼近与应用[D];中南大学;2009年

3 王健;前馈神经网络梯度学习算法收敛性分析[D];大连理工大学;2012年

4 范钦伟;带光滑正则项前馈神经网络学习算法的收敛性分析[D];大连理工大学;2014年

5 张会生;前馈神经网络梯度训练算法的几个收敛性结果[D];大连理工大学;2009年

中国硕士学位论文全文数据库 前10条

1 袁光耀;基于非线性滤波优化的前馈神经网络训练方法研究[D];河南大学;2016年

2 张萧;通用前馈神经网络代码库的设计[D];福建师范大学;2011年

3 董春岩;基于反传混沌粒子群训练前馈神经网络应用研究[D];北京化工大学;2013年

4 张红军;一种新的前馈神经网络训练算法及其在控制中的应用[D];大连理工大学;2002年

5 吕俊;前馈神经网络参数和结构的优化策略研究[D];南京工业大学;2004年

6 马岩尉;基于前馈神经网络的电子鼻模式识别方法[D];大连理工大学;2010年

7 程海青;动量项前馈神经网络恒模盲均衡算法的研究[D];太原理工大学;2006年

8 刘永;遗传前馈神经网络盲均衡算法的研究[D];太原理工大学;2007年

9 李艳琴;基于前馈神经网络盲多用户检测算法的研究[D];太原理工大学;2007年

10 马莉;基于遗传前馈神经网络自适应均衡算法的研究[D];太原理工大学;2011年

，

本文编号：649199