随机权分布对极限学习机性能影响的实验研究

发布时间：2018-07-08 15:19

本文选题：随机权分布 + 极限学习机　；参考：《计算机科学》2016年12期

【摘要】：极限学习机是一种训练单隐含层前馈神经网络的算法,它随机初始化输入层的权值和隐含层结点的偏置,用分析的方法确定输出层的权值。极限学习机具有学习速度快、泛化能力强的特点。很多研究都用服从[-1,1]区间均匀分布的随机数初始化输入层权值和隐含层结点的偏置,但没有对这种随机初始化合理性的研究。用实验的方法对这一问题进行了研究,分别研究了随机权服从均匀分布、高斯分布和指数分布对极限学习机性能的影响。研究发现随机权的分布对极限学习机的性能的确有影响,对于不同的问题或不同的数据集,服从[-1,1]区间均匀分布的随机权不一定是最优的选择。研究结论对从事极限学习机研究的人员具有一定的借鉴作用。
[Abstract]:Extreme learning machine (LLM) is an algorithm for training single hidden layer feedforward neural network. It initializes the weights of the input layer and the bias of the hidden layer nodes at random, and determines the weight value of the output layer by the analytical method. Extreme learning machine has the characteristics of fast learning speed and strong generalization ability. Many studies have used random numbers uniformly distributed from [-1] interval to initialize the input layer weights and the bias of hidden layer nodes, but there is no study on the rationality of such random initialization. The effects of uniform distribution, Gao Si distribution and exponential distribution on the performance of LLM are studied by means of experiments. It is found that the distribution of random weights does have an effect on the performance of LLM. For different problems or different data sets, the random weight distributed uniformly from [-1] interval is not necessarily the best choice. The conclusion of the study can be used as a reference for the personnel engaged in the research of extreme learning machine.
【作者单位】：河北省机器学习与计算智能重点实验室河北大学数学与信息科学学院;河北大学计算机科学与技术学院;中国气象局气象干部培训学院河北分院;
【基金】：国家自然科学基金项目(71371063) 河北省自然科学基金项目(F2013201220) 河北省高等学校科学技术研究重点项目(ZD20131028)资助
【分类号】：TP181

【相似文献】