Pi-Sigma和Sigma-Pi-Sigma神经网络的正则化方法
发布时间：2020-10-30 23:47
在最近几年,神经网络已经被广泛的应用于各种回归和分类问题。通过将正则项加入到神经网络的学习过程中,研究者提出了许多正则化技术来处理与神经网络相关的问题。其中,两种经典的正则项(惩罚项)分别是运用L2范数和运用L1或L1/2范数。L2范数的功能主要是获得有界的网络权值并提高网络的泛化能力。而L1或L1/2范数的功能主要是使网络具有稀疏性,以便减少神经网络使用的节点和权值,与此同时并不引起对网络效率的破坏。本文考虑高阶神经网络(HONNs)的正则化方法。研究者已经证明,HONNs在许多方面比普通的一阶网络更高效。从一些方面来讲,稀疏化对HONNs更重要,因为通常情况下HONNs中有更多的节点和权值。特别地,本文考虑pi-sigma神经网络(PSNNs)和 sigma-pi-sigma 神经网络(SPSNNs)。本论文的主要内容如下:1.在第2章,本文研究用于PSNNs的带L2内惩罚的在线梯度算法。这里,L2范数是关于每个Pi节点的输入值的。证明了误差函数的单调性、权值的有界性以及弱收敛定理和强收敛定理。2.在第3章,本文描述了另一种用于PSNNs的L2内惩罚。不同于第2章,本章中L2范数是关于网络中每一个权值的。证明了批处理梯度算法的收敛性。并证明了在训练迭代中带惩罚项的误差函数的单调性,以及权值序列的一致有界性。将该算法应用于求解四维奇偶问题和Gabor函数问题以支持我们的理论结果。3.在第4章,提出了一个带光滑L1/2正则化的离线梯度法来训练和修剪PSNNs。因为涉及绝对值函数,原始L1/2正则项在原点不光滑。这会导致计算中出现振荡现象,并且非常难于进行收敛性分析。本文提出了使用光滑函数代替并近似绝对值函数,得到一个PSNNs的光滑L1/2正则化方法。数值模拟表明,光滑L1/2正则化方法消除了计算中的振荡,得到更好的学习准确率。我们也能够证明所提出的学习方法的收敛性定理。4.在第5章,本文考虑更重要的Sigma-Pi-Sigma神经网络(SPSNNs)。在现有文献中,为了减少Pi层中Pi节点的个数,在SPSNNs中,研究者采用了一种特殊的多项式Ps。当令其他的变量都是常数时,Ps中每个多项式关于每一个特定的变量σi都是线性的。这种选择可能是直观的,但未必是最好的。本文提出了一种自适应的方法来寻找一个给定问题的更好的多项式。为了阐明提出的方法,本文从一个确定阶数的完整多项式出发。然后,在学习过程中对给定问题,采用正则化技术减少所需多项式的数目,最终得到一个新的SPSNN,其所用的多项式的数量(=Pi层中的节点数)和Ps中多项式的数量相同。一些基准问题的数值实验表明,新的SPSNN表现比带多项式Ps的传统SPSNN好。
【学位单位】：大连理工大学
【学位级别】：博士
【学位年份】：2018
【中图分类】：TP183
【文章目录】：
ABSTRACT
摘要
1 Introduction
1.1 History of Artificial Neural Networks
1.2 Components of Artificial Neural Networks
1.3 Artificial Neurons
1.4 Components of an Artificial Neuron
1.4.1 Weights
1.4.2 Activation Functions
1.4.3 Bias
1.4.4 Training of Neural Network
1.5 A Model of High-Order Neural Networks
1.5.1 Sigma-Pi Neural Networks
1.5.2 Pi-Sigma Neural Networks
1.5.3 Sigma-Pi-Sigma Neural Networks
1.6 Regularization Method
1.7 Objectives and Scope of the Study
2 Convergence of Online Gradient Method for Pi-Sigma Neural Networks with Inner-Penalty Terms
2.1 Pi-Sigma Neural Network with Inner-Penalty Algorithm
2.2 Preliminary Lemmas
2.3 Convergence Theorems
3 Batch Gradient Method for Training of Pi-Sigma Neural Network with Penalty
3.1 Batch Gradient Method with Penalty Term
3.2 Main Results
3.3 Simulation Results
3.3.1 Parity Problem
3.3.2 Function Regression Problem
3.4 Proofs
4 A Modified Higher-Order Feedforward Neural Network with Smoothing Regularization
1/2 Regularization'> 4.1 Offline Gradient Method with Smoothing L1/2 Regularization
1/2 Regularization'> 4.1.1 Error Function with L1/2 Regularization
1/2 Regularization'> 4.1.2 Error Function with Smoothing L1/2 Regularization
4.2 Main Results
4.3 Numerical Experiments
4.3.1 Classification Problems
4.3.2 Approximation of Gabor Function
4.3.3 Approximation of Mayas Function
4.4 Proofs
5 Choice of Multinomials for Sigma-Pi-Sigma Neural Networks
5.1 Introduction
5.2 Description of the Proposed Method
5.2.1 Network Structure
1/2 Regularization'> 5.2.2 Error Function with L1/2 Regularization
1/2 Regularization'> 5.2.3 Error Function with Smoothing L1/2 Regularization
5.3 Algorithm
5.4 Numerical Experiments
5.4.1 Mayas' Function Approximate
5.4.2 Gabor Function Approximate
5.4.3 Sonar Data Classification
5.4.4 Pima Indians Diabetes Data Classification
6 Summary and Further Prospect
6.1 Conclusion
6.2 Innovation Points
6.3 Further Studies
References
Published Academic Articles during PhD period
Acknowledgements
Author Introduction
【参考文献】
本文编号：2863168
【学位单位】：大连理工大学
【学位级别】：博士
【学位年份】：2018
【中图分类】：TP183
【文章目录】：
ABSTRACT
摘要
1 Introduction
1.1 History of Artificial Neural Networks
1.2 Components of Artificial Neural Networks
1.3 Artificial Neurons
1.4 Components of an Artificial Neuron
1.4.1 Weights
1.4.2 Activation Functions
1.4.3 Bias
1.4.4 Training of Neural Network
1.5 A Model of High-Order Neural Networks
1.5.1 Sigma-Pi Neural Networks
1.5.2 Pi-Sigma Neural Networks
1.5.3 Sigma-Pi-Sigma Neural Networks
1.6 Regularization Method
1.7 Objectives and Scope of the Study
2 Convergence of Online Gradient Method for Pi-Sigma Neural Networks with Inner-Penalty Terms
2.1 Pi-Sigma Neural Network with Inner-Penalty Algorithm
2.2 Preliminary Lemmas
2.3 Convergence Theorems
3 Batch Gradient Method for Training of Pi-Sigma Neural Network with Penalty
3.1 Batch Gradient Method with Penalty Term
3.2 Main Results
3.3 Simulation Results
3.3.1 Parity Problem
3.3.2 Function Regression Problem
3.4 Proofs
4 A Modified Higher-Order Feedforward Neural Network with Smoothing Regularization
1/2 Regularization'> 4.1 Offline Gradient Method with Smoothing L1/2 Regularization
1/2 Regularization'> 4.1.1 Error Function with L1/2 Regularization
1/2 Regularization'> 4.1.2 Error Function with Smoothing L1/2 Regularization
4.2 Main Results
4.3 Numerical Experiments
4.3.1 Classification Problems
4.3.2 Approximation of Gabor Function
4.3.3 Approximation of Mayas Function
4.4 Proofs
5 Choice of Multinomials for Sigma-Pi-Sigma Neural Networks
5.1 Introduction
5.2 Description of the Proposed Method
5.2.1 Network Structure
1/2 Regularization'> 5.2.2 Error Function with L1/2 Regularization
1/2 Regularization'> 5.2.3 Error Function with Smoothing L1/2 Regularization
5.3 Algorithm
5.4 Numerical Experiments
5.4.1 Mayas' Function Approximate
5.4.2 Gabor Function Approximate
5.4.3 Sonar Data Classification
5.4.4 Pima Indians Diabetes Data Classification
6 Summary and Further Prospect
6.1 Conclusion
6.2 Innovation Points
6.3 Further Studies
References
Published Academic Articles during PhD period
Acknowledgements
Author Introduction
【参考文献】
相关期刊论文 前3条
1 徐宗本;郭海亮;王尧;张海;;L_(1/2)正则子在L_q(0<q<1)正则子中的代表性:基于相位图的实验研究(英文)[J];自动化学报;2012年07期
2 ;L_(1/2) regularization[J];Science China(Information Sciences);2010年06期
3 孔俊 ,吴微;Online Gradient Methods with a Punishing Term for Neural Networks[J];Northeastern Mathematical Journal;2001年03期
本文编号：2863168
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2863168.html
