用于神经网络的带L 1/2 正则项的共轭梯度学习方法

发布时间：2022-01-07 19:25

　　人工神经网络由于其超强的非线性映射能力,卓越的学习能力以及其广泛的用途,成为许多领域的研究热点.为了提高网络泛化能力,产生更经济的稀疏网络,克服梯度型神经网络学习算法收敛速度慢,容易过快陷入局部极小点,且易产生振荡现象的缺陷.为此本文主要研究带光滑L1/2正则项的批处理共轭梯度型学习方法.首先提出基于修正割线方程的共轭梯度法,并验证了该方法求解标准优化测试问题的有效性.其次提出双自适应参数的共轭梯度法,并对XOR问题搭建神经网络进行测试来验证算法的有效性.然后将双自适应参数的混合共轭梯度法引入BP前馈神经网络训练,提出带光滑L1/2正则项的共轭梯度学习方法.最后针对零阶Takagi—Sugeno模糊推理系统,提出带光滑L1/2正则项的常值学习率共轭梯度学习方法.本文对于这些方法均进行了收敛性分析,它们在数值结果上也展示出了不俗表现.本文的主要内容概括如下:1.第一章绪论部分回顾了神经网络的相关背景知识,介绍了本文的研究目的和研究意义,提出了本文的研究内容.2.第二章针对Dai-Yuan（DY）共轭梯度方法具有优良的收敛性质但数值表现一般的特点,结合修正的割线方程,改进某类参数DY型共轭... 

【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校

【文章页数】：105 页

【学位级别】：博士

【部分图文】：

图１．８三种正则子产生稀疏解可能性示意图??Ｆｉｇ?１．７?Ｔｈｅ?ｓｐａｒｓｉｔｙ?ｐｒｏｐｅｒｔｙ?ｏｆ?（ａ）?Ｌｉ／２?（ｂ）?Ｌ＼?（ｃ）?Ｌ２?ｒｅｇｕｌａｒｉｚｅｒｓ??

?３．５??Ｘ??图２．２函数调用次数比较性能图??Ｆｉｇ?２．２?Ｐｅｒｆｏｒｍａｎｃｅ?ｐｒｏｆｉｌｅ?ｃｏｍｐａｒｉｎｇ?ｔｈｅ?ｎｕｍｂｅｒ?ｏｆ?ｆｕｎｃｔｉｏｎ?ｉｓ?ｃａｌｌｅｄ??－２５?－??

?４??Ｔ??图２．１迭代次数比较性能图??Ｆｉｇ?２．１?Ｐｅｒｆｏｒｍａｎｃｅ?ｐｒｏｆｉｌｅ?ｃｏｍｐａｒｉｎｇ?ｔｈｅ?ｎｕｍｂｅｒ?ｏｆ?ｉｔｅｒａｔｉｏｎｓ??１?１?ｉ?ｉ?ｉ?ｉ?ｉ?￣￣：?ｉ??。＋９＿?，?Ｈ?Ｉ－＿＿ｇ?：??〇－８－?，ｊ?ａＪ?１?＾ｒ￣ｔ?＾?－??ｒ?ｌ?ｔ?ｔｒ－＊??０．７－?Ｘ?Ａ?—?－＾４－１?＿??ｉ?Ｊ?ｆｔｌ?＾??０．６?－?＊?ａＡ?＊－４ｃ—ｓ?－??ｆ?ＡＡ?ｓ－ｔ??＾?ｉ?＊?ｉｓ］??ｐｒｆ＇Ｌｆ?Ｊ．?ｆ??〇－４－ｆ?＊．?ｒ?：ｒ￣ｆｉ????＆Ａ?ｉｌ?ｚ?ｔ?一－ＭＰＣ??＾?ｉ?＊＊?ｓ－Ｊ?￣￣＊￣ＤＹ?＿??４?ｉ．??Ａｗ?ｗ．??ｆ??Ｑ｜?｜?｜?｜?｜?｜?［?Ｉ??０?０．５?１?１．５?２?２．５?３?３．５??Ｘ??图２．２函数调用次数比较性能图??Ｆｉｇ?２．２?Ｐｅｒｆｏｒｍａｎｃｅ?ｐｒｏｆｉｌｅ?ｃｏｍｐａｒｉｎｇ?ｔｈｅ?ｎｕｍｂｅｒ?ｏｆ?ｆｕｎｃｔｉｏｎ?ｉｓ?

【参考文献】：
期刊论文
[1]用于神经网络权值稀疏化的L1/2正则化方法[J]. 吴微,杨洁.  中国科学:数学. 2015(09)
[2]基于替代函数及贝叶斯框架的1范数ELM算法[J]. 韩敏,李德才.  自动化学报. 2011(11)
[3]L1/2正则化[J]. 张海,王尧,常象宇,徐宗本.  中国科学:信息科学. 2010(03)
[4]求解无约束优化问题的一类新的下降算法[J]. 潘翠英,陈兰平.  应用数学学报. 2007(01)
[5]共轭下降法的全局收敛性[J]. 戴或虹,袁亚湘.  数学进展. 1996(06)



本文编号：3575124