基于极端学习机的分类方法研究

发布时间：2018-04-03 17:59

本文选题：分类　切入点：增量分类　出处：《大连理工大学》2016年博士论文

【摘要】：随着互联网的发展,各类数据不断累积,如何从数据中获得有用的知识成为亟待解决的问题。BP神经网络(Back propagation neural networks)作为一种经典模式分类方法,成为获取信息的有效工具,并被广泛应用于各个领域。然而,BP神经网络采用迭代求解方式,存在计算速度慢、易获得局部最优解等问题。极端学习机(Extreme learning machine, ELM)与BP神经网络同为单隐层前馈神经网络(Single-hidden layer feedforward neural networks, SLFNs), ELM直接从输入层实现复杂的非线性映射,利用随机化参数的方法将迭代求解过程转化为线性方程组的求解过程,进而获得了更快的求解速度。同时,避免了易陷入局部最优解的问题,成为解决模式分类问题的有效途径。本文主要以ELM模型为理论基础,以提升模式分类速度、精度与稳定性为目标。针对ELM模型在不同分类应用中产生的问题进行了研究、分析,并取得了下述成果：(1)针对ELM对大规模数据难以实时分类的问题,本文提出并行在线极端学习机(Parallel online sequential extreme learning machine, POSELM)模型。首先,利用ELM理论得到隐层输出权值矩阵；然后,根据MapReduce框架并行计算特点,对矩阵分割后在不同工作结点上并行计算,以代替原有大规模矩阵累乘操作；最后,将计算结点上的结果累加后得到输出权值矩阵。该方法保证了在不损失计算精度前提下,将ELM的增量学习算法在MapReduce框架上进行拓展,从而实现数据的实时分类。(2)针对ELM分类中鲁棒性低的问题,提出相应的解决方案。ELM在建模时需全局数据参与运算,未考虑噪音样本对模型构建产生的影响,进而出现鲁棒性低的问题。针对该问题,提出局部极端机(Local extreme learning machine, LELM)模型。首先,获得测试样本的K近邻,根据近邻标签判断测试样本位置,并识别噪音训练样本；然后,提出监督聚类方法结合近邻法重建局部训练集；最后,针对新的训练集,构建局部分类器。LELM在充分考虑样本局部结构的同时,识别并移除噪音样本,从而降低噪音样本对模型构建产生的影响,提升模型鲁棒性。进一步,为了保证ELM增量分类方法的鲁棒性与实时分类的稳定性,将在线极端学习机模型(Online sequence extreme learning machine, OSELM)加以拓展,提出自组合核的在线极端学习机(Self-compounding kernel online sequential extreme learning machine, SCK-OSELM)模型。首先,提出自组合核方法,实现样本空间到非线性融合特征空间的转换。然后,借助稀疏贝叶斯原理对当前时间点参数稀疏。最后,将当前稀疏后得到的参数并入下一时刻运算。该方法将多个核空间的特征进行非线性融合,避免了隐层参数选择产生模型鲁棒性低的问题。(3)针对ELM对非平衡数据难以有效分类的问题,提出加权的在线极端学习机(Weights robust online extreme learning machine, WROSELM)模型。为解决数据类别分布非平衡性,该模型借助代价敏感学习理论生成局部动态权值矩阵,从而优化分类模型产生的经验风险,并通过对权值矩阵的分解,获得模型输出权值矩阵新的增量表达。同时,算法进一步考虑动态数据由于时序性改变造成的数据分布变化,而引入遗忘因子增强分类器对数据分布变更的敏感性。该方法对非平衡数据的分类问题具有较高的适应性,可实现对该类数据实时、有效的分类。(4)针对ELM对多特征数据难以有效分类的问题,提出多特征极端学习机(Multi-feature extreme learning machine, MFELM)模型。该模型利用ELM对单特征逐一建模,通过给出不同特征模型的权重迭代参数优化MFELM模型,最终获得使分类误差总和最小的特征组合系数与输出权值。在组合参数设计上,引入多次幂系数避免求解过程中算法退化为单特征的情况。同时,将MFELM拓展为核方法,提出基于多特征核的极端学习机(Multi-feature kernel extreme learning machine, MFKELM)模型,该模型避免了因多特征维度不同,产生MFELM难以计算的问题,使分类模型可利用不同特征同时为分类提供信息,提高分类精度。
[Abstract]:With the development of Internet , various kinds of data accumulate , how to obtain useful knowledge from the data becomes a problem to be solved urgently . The BP neural network ( Back propagation neural networks ) is used as an effective tool for obtaining information and is widely used in various fields .
Then , according to the parallel computing characteristics of MapReduce framework , parallel computation is carried out on different working nodes after matrix segmentation to replace the original large - scale matrix tired operation ;
The method ensures that the incremental learning algorithm of ELM is expanded on the MapReduce frame to realize the real - time classification of the data .
Then , a supervised clustering method is proposed to reconstruct the local training set in combination with the nearest neighbor method .
In order to ensure the robustness of ELM incremental classification and the stability of real - time classification , this paper proposes a self - adaptive kernel online sequential extreme learning machine ( WROSELM ) model . In order to ensure the robustness of ELM incremental classification method and the stability of real - time classification , this paper proposes a weighted online extreme learning machine ( OSELM ) model . ( 4 ) The multi - feature extreme learning machine ( MFELM ) model is proposed to solve the problem that the multi - feature data is difficult to be effectively classified by ELM .

【学位授予单位】：大连理工大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP183

【参考文献】