基于近域去重法改进的BP神经网络算法

发布时间：2017-08-08 11:32

  本文关键词：基于近域去重法改进的BP神经网络算法

  更多相关文章： BP神经网络 最优化理论 启发式算法 全局最优 爬坡法 近域去重法

【摘要】：神经网络算法今年来被国内外学者大量的研究和讨论,在学术领域中属于智能算法和人工智能的重要组成部分,其被广泛的用于机器学习、模式识别、数据挖掘领域等领域,不仅如此,神经网络算法因为强大的建模能力,也快速的蔓延向其他学科。本文重点研究最具有代表性的BP神经网络算法,从单神经元的线性拟合能力开始到多层多神经元的非线性的问题解决的论证,经过对BP神经网络算法的推导,详细的解释了算法原理,在这个过程中暴露出了算法各方面的缺点,比如梯度下降法收敛慢,训练时间长等问题。论文针对这些缺点,介绍并研究了大量学者的改进工作,其中最重要的将BP神经网络算法中的目标函数最小值的求解问题单独抽象出来,成为无约束非线性的最优化问题,由此引入最优化理论来对此进行了深入的研究,利用理论中的牛顿法、拟牛顿法、共轭梯度法来计算目标函数最值的方向,结合线搜索法和信赖域方法确定该方向上的步长,解决了梯度下降的固有问题；对于激活函数的介绍了其选择标准和近期提出的一些更利于收敛的新型函数方程；针对学习速率和动量因子介绍了一些自适应的方法,可以随着神经网络训练而改变自身以更优于收敛；针对目标函数的解搜索策略,引入了一些启发式的算法如遗传算法和模拟退火算法,从另一方面来搜索解空间,最终也能得到不错的收敛；此外还讨论了网络结构和初始值的选择。经过这些研究,BP神经网络的各个组成部分如同零件可以按需拆解和组合,对于BP神经网络的了解更加深入。论文特别的针对BP神经网络算法难以跳出局部最优点的缺点,先找到该问题存在的根源,介绍了现有的解决方案,之后提出了近域去重法改进的BP神经网络算法,利用爬坡法和遗传算法搜索解空间,并使用近域去重法来去掉重复的解。文中对这种方法进行了详细的介绍,之后结合拟牛顿下降法和Levenberg-Marquardt法用以改进BP神经网络,使用足够的实验对比的方式来证明新算法的优势,对比结果说明,改进的BP神经网络算法拥有更强大的收敛能力,其最终得到的解优于最开始得到的局部最优解,验证了所提出方法的有效性。
【关键词】：BP神经网络 最优化理论 启发式算法 全局最优 爬坡法 近域去重法
【学位授予单位】：安徽大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP183
【目录】：

• 摘要3-5
• Abstract5-9
• 第一章 绪论9-12
• 1.1 论文研究的背景9-10
• 1.2 研究的目的和意义10
• 1.3 组织结构与研究内容10-12
• 第二章 BP神经网络相关知识12-26
• 2.1 神经网络起源12-20
• 2.1.1 人工神经网络12-13
• 2.1.2 感知器与线性问题13-14
• 2.1.3 sgimod函数与非线性问题14-18
• 2.1.4 学习算法18-20
• 2.2 BP神经网络20-26
• 2.2.1 BP算法的推导21-22
• 2.2.2 BP算法步骤和流程图22-24
• 2.2.3 BP神经网络算法的缺陷24-26
• 第三章 BP神经网络改进研究现状26-46
• 3.1 基于最优化理论的改进26-35
• 3.1.1 牛顿法26-27
• 3.1.2 线搜索法27-29
• 3.1.3 信赖域算法29-30
• 3.1.4 拟牛顿法30-32
• 3.1.5 共轭梯度法32-34
• 3.1.6 最优化方法总结34-35
• 3.2 学习速率35-37
• 3.3 动量因子37
• 3.4 激活函数37-40
• 3.5 BP神经网络的结构与初始值40-42
• 3.6 启发式算法42-46
• 3.6.1 遗传算法43-44
• 3.6.2 模拟退火算法44
• 3.6.3 启发式算法总结44-46
• 第四章 近域去重法改进的BP神经网络算法46-62
• 4.1 背景知识46-47
• 4.2 改进的BP神经网络算法47-53
• 4.2.1 爬坡法48-49
• 4.2.2 遗传算法搜索法49-50
• 4.2.3 近域去重法50-51
• 4.2.4 改进的BP神经网络算法51-53
• 4.3 实验53-62
• 4.3.1 数据集介绍53-54
• 4.3.2 实验步骤54
• 4.3.3 MNTST数据集实验情况54-58
• 4.3.4 Abalone数据集实验情况58-61
• 4.3.5 实验结论61-62
• 第五章 总结与展望62-64
• 5.1 本文总结62-63
• 5.2 研究展望63-64
• 参考文献64-69
• 附录A 图索引69-70
• Appendix A Figure index70-71
• 致谢71-73
• 攻读硕士学位期间发表的学术论文73

【相似文献】

中国期刊全文数据库 前10条

1 张赛民;周竹生;陈灵君;;应用一种改进BP神经网络算法预测密度曲线[J];物探化探计算技术;2007年06期

2 李淑慧;;改进的进化神经网络算法及其在入侵检测中的应用[J];现代电子技术;2010年01期

3 王治国;宋考平;张春鹤;刘刚;王爱明;;BP神经网络算法在单井流动单元识别中的应用[J];数学的实践与认识;2011年05期

4 ;BP神经网络算法的改进[J];电脑开发与应用;1995年02期

5 贺兴时,刘宇;BP神经网络算法在数字识别中的应用[J];西北纺织工学院学报;2000年04期

6 李广琼,蒋加伏;关于对BP神经网络算法改进的研究[J];常德师范学院学报(自然科学版);2003年02期

7 孙修东,李宗斌,陈富民;基于改进BP神经网络算法的多指标综合评价方法的应用研究[J];河南机电高等专科学校学报;2003年01期

8 王青海;BP神经网络算法的一种改进[J];青海大学学报(自然科学版);2004年03期

9 左付均,蔡自兴;基于神经网络算法的建设项目风险预测系统设计[J];广西科学院学报;2004年03期

10 李卫东;基于神经网络算法的工程技术人员综合评价方法的应用研究[J];太原科技大学学报;2005年02期

中国重要会议论文全文数据库 前10条

1 吕庆U，

本文编号：639791