组合凸线器框架下分片线性分类器的构造方法研究

发布时间：2017-04-14 19:18

  本文关键词：组合凸线器框架下分片线性分类器的构造方法研究，由笔耕文化传播整理发布。

【摘要】：分片线性分类器设计是模式识别与机器学习中的基本问题,该问题一直以来都受到研究者的广泛关注,但并未得到很好解决。组合凸线性感知器的提出,使这一领域的研究发展到了一个新阶段。组合凸线性感知器是用来构造分片线性分类器的一个通用理论框架,定义了凸可分、叠可分和凸线性感知器等核心概念。对于任意两类叠可分(即两类间不存在公共点)的数据,它能够实现有效的划分。组合凸线性感知器的原有构造方法称为支持组合凸线性感知器算法(SMA),该算法在实际分类任务中通常表现出不错的性能,但它仍存在两个主要缺点:(1)构造的分类器中包含了大量的线性函数,分类模型结构过于复杂,泛化能力有待提高;(2)要求数据集必须是叠可分的,影响该方法的使用环境和范围。在组合凸线性感知器框架下,本文重点研究分片线性分类器的构造问题,旨在有效解决SMA中存在的不足,并最终提升分类器性能和泛化能力。研究内容包括分类精度提升、分类模型简化、克服叠可分限制和新框架设计等四个主要方面,并相应提出了生长、极大切割、软间隔和交错式等构造方法。论文主要研究工作和创新点如下:1.提出了组合凸线性感知器的生长构造方法,用于提升分类精度。该方法由两个基本操作组成,即挤压和膨胀。对于凸可分情况,生长进程使用挤压操作将初始训练得到的分类边界推向内部凸区域,使其能够更好的拟合数据分布。对于叠可分情况,生长进程同时使用挤压和膨胀操作,来调整初始训练得到的分类边界,使其移动到更加合理的位置,并最终提高分类器的泛化能力。实验证实,相比于SMA,生长构造方法能够有效提高分类精度,最多可以提高10%左右,并且分类模型也得到了一定程度的简化。2.提出了组合凸线性感知器的极大切割构造方法,用于简化分类模型结构。该方法由两阶段训练构成,第一阶段称为极大切割过程,通过迭代不断寻求能够切开更多样本点的分类边界,并因此来构造尽可能小的决策函数集,最大程度减少决策函数集中线性函数的数量,最终简化分类模型。第二阶段称为边界调整过程,对极大切割后得到的初始分类边界进行一个二次训练,调整边界到适当位置,以提高分类器的泛化能力。标准数据集上的实验证实,相比于SMA,极大切割构造方法在保证分类精度的情况下,使分类模型中线性函数的数量都至少减少了50%,并且在部分数据集上减少超过了90%。3.提出了组合凸线性感知器的软间隔构造方法,用于克服叠可分限制。该方法利用二阶软间隔支持向量机的性质,首先将输入空间数据映射到高维特征空间,然后使用K均值聚类算法将其中一类样本聚成多个簇,并在每一簇与另一类样本间构造凸线性感知器,最后集成组合凸线性感知器。该方法能够改善分类性能并且缓解由于过拟合所带来的影响,更重要的是它能够解决SMA不适用于非叠可分数据的问题。实验评估证实了这种方法的有效性,同其他分片线性分类器的对比也说明了它的竞争力。4.提出了一个新的分片线性分类通用框架,称为交错式组合凸线性感知器。在极大凸可分子集基础之上,该方法首先定义了交错式组合凸线性感知器的概念,并通过一些定理证明了它的存在性和唯一性。与组合凸线性感知器不同,交错式组合凸线性感知器通常表现为凸线性感知器的嵌套结构,它是构造分片线性分类器的另一个通用理论框架。基于这个框架,支持交错式组合凸线性感知器算法被用来在一类数据的子集和另一类数据的极大凸可分子集间构造一系列凸线性感知器。最终这些凸线性感知器按顺序集成为交错式组合凸线性感知器。实验证实,交错式组合凸线性感知器通常比组合凸线性感知器具有更简单的分类模型结构,并且能够保证分类精度,在测试阶段执行更快。本文研究致力于促进组合凸线性感知器框架的发展和完善,并继续在此框架下,努力提升分片线性分类器的性能。文中所提方法有助于我们理解分片线性分类器的本质,并且能够对分片线性学习的进步产生积极的推动作用。
【关键词】：分片线性分类器 组合凸线性感知器 通用框架 构造方法 支持向量机
【学位授予单位】：北京工业大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP391.4;TP181
【目录】：

• 摘要4-6
• Abstract6-12
• 第1章 绪论12-30
• 1.1 课题研究背景及研究意义12-15
• 1.2 分片线性分类器构造方法研究概况15-26
• 1.2.1 委员会机15-17
• 1.2.2 线性规划方法17-19
• 1.2.3 局部训练方法19-22
• 1.2.4 决策树方法22-24
• 1.2.5 最大最小可分性方法24-25
• 1.2.6 组合凸线性感知器25-26
• 1.3 论文主要工作26-28
• 1.3.1 分类精度提升研究26-27
• 1.3.2 分类模型简化研究27
• 1.3.3 克服叠可分限制研究27
• 1.3.4 新框架设计27-28
• 1.4 论文组织结构28-30
• 第2章 组合凸线器框架30-42
• 2.1 支持向量机简介30-32
• 2.2 支持组合凸线器32-40
• 2.2.1 凸包和可分性33
• 2.2.2 线性分类器33-35
• 2.2.3 支持凸线器35-37
• 2.2.4 支持组合凸线器37-39
• 2.2.5 支持组合凸线器的预测规则39-40
• 2.3 本章小结40-42
• 第3章 组合凸线器的生长构造方法42-60
• 3.1 原有构造方式存在的问题42-43
• 3.2 凸线器的生长构造方法43-46
• 3.2.1 挤压操作43-44
• 3.2.2 生长支持凸线器算法44-45
• 3.2.3 算法复杂度45-46
• 3.3 组合凸线器的生长构造方法46-50
• 3.3.1 膨胀操作46-48
• 3.3.2 生长支持组合凸线器算法48-49
• 3.3.3 算法复杂度49-50
• 3.4 实验结果及分析50-58
• 3.4.1 在人工合成数据集上的实验50-51
• 3.4.2 在标准数据集上的实验51-56
• 3.4.3 与NNA和DTA的对比实验56-57
• 3.4.4 在n维单位超球组上的实验57-58
• 3.5 本章小结58-60
• 第4章 组合凸线器的极大切割构造方法60-76
• 4.1 奥卡姆剃刀原理60-61
• 4.2 凸线器的极大切割构造方法61-64
• 4.2.1 极大切割过程61-63
• 4.2.2 极大切割支持凸线器算法63-64
• 4.2.3 算法复杂度64
• 4.3 组合凸线器的极大切割构造方法64-67
• 4.3.1 极大切割过程64-66
• 4.3.2 极大切割支持组合凸线器算法66-67
• 4.3.3 算法复杂度67
• 4.4 实验结果及分析67-72
• 4.4.1 在人工合成数据集上的实验68
• 4.4.2 在标准数据集上的实验68-71
• 4.4.3 与NNA和DTA的对比实验71-72
• 4.4.4 在n维单位超球组上的实验72
• 4.5 与生长构造方法的对比分析72-74
• 4.6 本章小结74-76
• 第5章 组合凸线器的软间隔构造方法76-92
• 5.1 显式空间映射76-78
• 5.2 CDMA的带核推广78-83
• 5.2.1 核化的CDMA算法78-82
• 5.2.2 KCDMA的预测规则82-83
• 5.3 组合凸线器的软间隔构造方法83-85
• 5.3.1 软间隔凸线器构造83
• 5.3.2 聚类的软间隔组合凸线器构造83-85
• 5.4 实验结果及分析85-90
• 5.4.1 与SMA的对比实验85-87
• 5.4.2 与NNA和DTA及SVMs的对比实验87-88
• 5.4.3 在n维单位超球组上的实验88-89
• 5.4.4 在非叠可分数据集上的实验89-90
• 5.5 本章小结90-92
• 第6章 交错式组合凸线器设计92-106
• 6.1 构造分片线性分类器的新思路92-93
• 6.2 极大凸可分子集93-95
• 6.3 交错式组合凸线器95-98
• 6.4 支持交错式组合凸线器算法98-101
• 6.5 实验结果及分析101-105
• 6.5.1 在Fourclass数据集上的实验101-102
• 6.5.2 在标准数据集上的实验102-104
• 6.5.3 与NNA和DTA的对比实验104
• 6.5.4 在n维单位超球组上的实验104-105
• 6.6 本章小结105-106
• 结论106-110
• 参考 文献110-118
• 攻读博士学位期间所取得的主要科研成果118-120
• 致谢120

【参考文献】

中国期刊全文数据库 前3条

1 冷强奎;李玉擰;;使用SK算法构造组合凸线性感知器[J];计算机科学与探索;2013年09期

2 高阳,陈世福,陆鑫;强化学习研究综述[J];自动化学报;2004年01期

3 周志华,陈世福;神经网络集成[J];计算机学报;2002年01期

中国博士学位论文全文数据库 前1条

1 汪云云;结合先验知识的分类器设计研究[D];南京航空航天大学;2012年

  本文关键词：组合凸线器框架下分片线性分类器的构造方法研究，由笔耕文化传播整理发布。

，

本文编号：306682