机器学习中的权重学习与差分演化

发布时间：2017-05-16 08:18

  本文关键词：机器学习中的权重学习与差分演化，，由笔耕文化传播整理发布。

【摘要】：机器学习是人工智能的核心研究问题,是计算机获得智能的根本途径。自从20世纪50年代人工智能学科建立以来,人们已经提出了大量的机器学习算法,如决策树、神经网络、支持向量机、K均值聚类及KNN算法等。而实际问题中的真实数据往往具有以下的一个或几个特点:含噪音的、具有缺失数据、数据类别分布不平衡、特征重要程度不同、大数据以及数据含有不确定性等,特别是当前随着计算机技术及通讯网络的迅猛发展,这些问题变得更加突出。为了处理这些不完美的数据,人们提出了许多改进的算法,比如可以集成多个学习器的集成学习系统,能够处理模糊数据的模糊系统,引入权重的加权学习算法,基于高性能进化计算技术的学习算法等。其中加权技术和模糊系统是经常使用的两种技巧,在这两个课题上仍然存在着一些问题值得我们进一步研究,如在学习系统中如何获取“良好”的权重以提高加权学习算法的性能?模糊分类器的性能与其模糊输出向量之间有没有关系?本文在选定的几个学习模型上深入研究了权重的优化模型及模糊分类器的模糊度与其性能的关系,并将改进的差分演化技术引入到权重的学习问题中。具体工作主要包括:首先,提出了基于多进化策略的混合差分演化算法,并将之用于求解加权模糊聚类中的权重;其次,针对更复杂的极速学习机(Extreme learning machine,ELM)中的网络结构及随机参数优化问题,我们将进化策略及参数自适应技术引入前述差分演化算法,提出了一个基于自适应差分演化的2阶段进化ELM算法;随后,在加权模糊规则推理系统中,我们研究了加权模糊规则中的权重与推理系统的泛化能力之间的关系,随后提出了一种基于最大模糊熵的权重精炼方案;最后,在集成学习系统中,我们分析了模糊基分类器输出向量的模糊性与集成系统泛化能力的关系,并通过实验及理论给出了几个有意义的结论,同时对集成学习中基分类器的学习提出了一些实用的建议。基于以上工作,本论文主要贡献可总结为如下几个方面:(1)提出了一种包含多种进化策略的混合差分演化算法并将之用于学习基于相似度的加权模糊聚类中的特征权重。提出的差分演化算法相对于已有算法,其即使用适于全局搜索的策略,也使用适于局部搜索的策略,从而增强了搜索能力,同时算法也没有增加过多额外的计算。(2)提出一种自适应多进化策略混合差分演化算法,该算法通过依次选用多种进化策略以提高搜索能力,同时其可实现进化策略及控制参数的自适应。进一步基于该算法提出了一种ELM网络的2阶段训练方案。该方案分两个阶段分别对ELM的网络隐单元个数及隐单元参数进行优化,即实现了网络结构及随机参数的自动获取及优化,又避免了传统trial-and-error方法的高耗时性以及已有其它进化ELM同时优化隐单元数及随机参数时解空间的超高维、多峰值及冗余性,从而可以自动以较小的网络结构获得与基本ELM相当甚至更好的测试性能。(3)针对加权模糊推理系统,提出了一种基于模糊最大熵原则的权重优化模型。该模型与传统大多数方法最小化训练精度或验证精度不同,其将加权模糊规则中的权重等参数看成变量,然后对于初始获取的一组模糊规则(权重都为1),在模糊规则满足所有已知约束(一般为训练样本的类别分对)的前提下,通过最小化模糊规则推理系统在训练集上的输出模糊熵来学习规则中的权重等参数的值。我们的数值仿真试验也验证了该方法可以很好地避免过拟合问题,从而得到满意的分类器。(4)针对基于一般模糊分类器(或输出为样本属于各个类别隶属度的多类分类器)的集成学习系统,我们首次研究了模糊基分类器的输出不确定性(如模糊性、不可指定性等)与集成分类器的测试精度之间的关系。并得到了几个有意义的结论,如:a)对于带有复杂边界的分类问题,模糊性大的样本比模糊性小的样本更容易被错分;b)距离边界近的样本集与具有较高模糊性的样本集一致,但是难于得到两者之间的映射,该映射基于边界样本的定义;c)若训练准确率可以被接受,带有较高模糊性的分类器对复杂边界问题具有较好的泛化能力能,并对该结论进行了实验验证。
【关键词】：差分演化 机器学习 权重学习 极速学习机 集成学习 泛化能力 加权模糊规则系统
【学位授予单位】：华南理工大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP181
【目录】：

• 摘要5-7
• Abstract7-17
• 主要符号表17-19
• 第一章 绪论19-22
• 1.1 研究意义19-20
• 1.2 论文的主要贡献20-21
• 1.3 论文结构21-22
• 第二章 机器学习理论与算法文献综述22-31
• 2.1 机器学习理论22-23
• 2.1.1 统计机器学习与泛化误差理论分析22-23
• 2.1.2 机器学习中的优化理论研究23
• 2.2 特征加权与特征选择23-25
• 2.3 分类学习算法25-27
• 2.3.1 决策树学习算法25
• 2.3.2 神经网络分类算法25-26
• 2.3.3 最近邻分类算法26-27
• 2.3.4 多模型集成学习27
• 2.4 聚类算法27
• 2.5 差分演化算法27-31
• 2.5.1 DE的性能与其控制参数的关系28
• 2.5.2 变异与交叉操作的改进28-31
• 第三章 基于改进差分演化的加权模糊聚类31-53
• 3.1 引言31
• 3.2 相关工作介绍31-32
• 3.3 基于相似性的加权模糊聚类及其特征权学习问题32-34
• 3.3.1 基于相似性的加权模糊聚类32-33
• 3.3.2 基于相似性的加权模糊聚类中的特征权学习问题33-34
• 3.4 基于改进差分演化的加权模糊聚类34-42
• 3.4.1 差分演化与动态差分演化34-37
• 3.4.2 基于多差分进化策略协同演化的混合差分演化算法37-40
• 3.4.3 基于MEHDE的加权模糊聚类特征权学习模型40-42
• 3.5 实验及分析42-51
• 3.5.1 实验说明42-43
• 3.5.2 基于模糊C均值聚类的比较43-46
• 3.5.3 基于相似矩阵传递闭包聚类的实验比较46-51
• 3.5.4 基于GD、DE、DDE及MEHDE的优化技术效率分析51
• 3.6 本章小结51-53
• 第四章 基于自适应差分演化的两阶段极速学习机算法53-74
• 4.1 引言53
• 4.2 相关工作介绍53-56
• 4.3 极速学习机与参数自适应差分演化算法56-61
• 4.3.1 极速学习机算法56-59
• 4.3.2 参数自适应差分演化算法59-61
• 4.4 自适应多差分进化策略混合差分演化算法61-64
• 4.5 基于Sa-MEHDE的2阶段极速学习机算法64-68
• 4.5.1 网络结构的初步优化64-67
• 4.5.2 网络结构及隐单元随机参数的深度优化67-68
• 4.6 实验及分析68-73
• 4.6.1 实验说明69
• 4.6.2 回归问题Sin C上的实验结果69-71
• 4.6.3 分类问题上的实验结果71-73
• 4.7 本章小结73-74
• 第五章 加权模糊规则权重学习74-92
• 5.1 引言74-75
• 5.2 全局加权模糊IF-THEN规则推理75-81
• 5.3 基于最大模糊熵的参数优化方法81-86
• 5.4 仿真实验86-88
• 5.4.1 优化全局权前后的实验比较86-87
• 5.4.2 基于最大模糊熵与训练误差减小的权优化方法比较87-88
• 5.5 模糊规则权的推广88-90
• 5.6 本章小结90-92
• 第六章 集成学习中基分类器泛化能力与模糊性之间关系的研究92-118
• 6.1 引言92-94
• 6.2 分类边界94-99
• 6.3 分类器的模糊性99-105
• 6.4 泛化能力与模糊性之间的关系105-116
• 6.5 本章小结116-118
• 结论与展望118-120
• 参考文献120-137
• 攻读博士学位期间取得的研究成果137-139
• 致谢139-140
• 附件140

【参考文献】

中国期刊全文数据库 前3条

1 贺毅朝;王熙照;寇应展;;一种具有混合编码的二进制差分演化算法[J];计算机研究与发展;2007年09期

2 谢晓锋,张文俊,张国瑞,杨之廉;差异演化的实验研究[J];控制与决策;2004年01期

3 吴亮红;王耀南;陈正龙;;求解混合整数非线性规划问题的改进差分进化算法[J];小型微型计算机系统;2007年04期

  本文关键词：机器学习中的权重学习与差分演化，由笔耕文化传播整理发布。

本文编号：370332