基于间隔分布优化的大间隔分类器改进方法研究

发布时间：2018-06-25 07:53

本文选题：分类 + 间隔理论　；参考：《吉林大学》2016年硕士论文

【摘要】：分类是机器学习的一个核心问题,属于监督学习范畴,即通过已知类别的样本数据进行训练,得到一个分类模型对未知数据的类别进行预测。在分类问题中,训练得到的分类模型一般是一个分类决策函数,输入待预测数据的各特征值,输出对其预测的分类结果。换言之,对分类模型的训练过程即是对分类决策函数的求解过程。间隔理论是许多目前流行的分类算法(如SVM、Adaboost等)求解分类决策函数的理论依据,通过使训练数据中距离分类超平面最近的点间隔最大化得到分类决策函数,称为最大间隔模型,相应的分类算法称为大间隔分类器,SVM和Adaboost都是基于最大间隔模型的分类学习算法。近年来一些研究表明,优化平均间隔和间隔方差比最大间隔模型有着更好的泛化性能。有学者已经证明优化间隔分布模型(LDM)得到比最大间隔模型更小的泛化误差上界。目前训练优化间隔分布模型的算法有双坐标下降法和平均随机梯度下降法,其中后者为针对线性大规模问题的优化版本。在本文实验研究中发现,双坐标下降法的时间复杂度达到O(m3),不能适用于数据规模较大的问题;平均随机梯度下降法虽然可以处理线性大规模问题,但不适用于非线性模型。Nystr?m矩阵低秩近似是一种基于取样的大型矩阵近似技术。本文对双坐标下降法中的核矩阵使用Nystr?m近似矩阵代替,提升了其对较大规模非线性核LDM的适应性。在本文的实验中,改进后的Nystr?m-CD在处理较大规模数据时相比原算法在准确度上会有2%~3%的小幅降低;但训练效率有大幅提升,提升幅度在7.8~16.5倍,并能在较短时间内处理一些原算法无法在24小时训练出结果的数据。目前对LDM的研究主要针对二类分类问题,因为多类问题可以通过简单的转化变为多个二类问题来训练。针对复杂分类问题的多实例多标签(MIML,Multi-Instance Multi-Label)分类框架将训练数据实例看做复杂对象,将可能包含多个类别标签的分类结果处理成一个标签集合,建立从实例集合到标签集合的映射模型。本文受启发于MIML框架中多标签分类的思想,对多类LDM问题采用多标签分类进行建模,设计出多类版的LDM模型,并将双坐标下降法与Nystr?m矩阵低秩近似考虑进来,给出ML-LDM与ML-LDMNystr?m的CD算法。基于多标签分类模型的多类LDM方便问题建模与后期扩展,并且在分类效果上也较简单转化有所提升。实验表明,在多数情况下ML-LDM都能达到最好的分类准确率、召回率和F1值;在数据规模较大时,ML-LDMNystr?m也能表现出同样优秀的效果。
[Abstract]:The classification is a core problem of machine learning , which belongs to supervised learning category . It is a kind of classification decision function which is based on the maximum interval model . In this paper , we find that the optimal interval distribution model is better generalization performance than the maximum interval model .
【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP181

【相似文献】