最优间隔分布学习机

发布时间：2020-06-19 01:02

【摘要】：统计学习中经典的大间隔方法以“最小间隔”为优化目标,而近期Boosting的研究表明优化最小间隔并不能保证良好的泛化性能,更为重要的概念是“间隔分布”,因此如何在常用框架下高效地优化间隔分布成为机器学习面临的一个新挑战。本文针对四种常见的机器学习任务,分别提出相应的显式优化间隔分布的方法,从而完整地建立起了这一新型统计学习范型,主要工作包括:1.二分类最优间隔分布学习机ODM。针对二分类问题,通过将任务形式化为最大化间隔均值同时最小化间隔方差来优化间隔分布,并提出一种基于对偶坐标下降的求解方法。实验结果表明ODM的泛化性能显著优于、且在最坏情况下不差于优化最小间隔的传统大间隔方法。2.多分类最优间隔分布学习机mcODM。针对多分类问题,通过将多类间隔定义为每类与“其他类”的二类间隔的最小值来优化间隔分布,并提出一种基于对偶块坐标下降的求解方法。实验结果表明mcODM的泛化性能显著优于、且在最坏情况下不差于优化最小间隔的多分类方法。3.聚类最优间隔分布学习机ODMC。针对聚类问题,通过寻找一个超平面使得在将簇标记指派给每个簇的同时得到最优间隔分布,并提出一种基于随机镜像下降的求解方法。实验结果表明ODMC的聚类性能显著优于、且在最坏情况下不差于优化最小间隔的聚类方法。4.半监督最优间隔分布学习机ssODM。针对半监督学习问题,通过寻找一个超平面使得在将类别标记指派给未标记样本的同时得到最优间隔分布,并提出一种基于随机镜像近端下降的求解方法。实验结果表明ssODM的泛化性能显著优于、且在最坏情况下不差于优化最小间隔的半监督学习方法。
【学位授予单位】：南京大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP181
【图文】：

逦４１逡逑２．４．３间隔分布逡逑图２．２展示了在数据集９６（７１１３？１上，５￥１＾、００＾／和０［）＼１最终输出的间隔逡逑分布的频度直方图。可以看出，相比于ＯＤＭ＂和ＯＤＭ，邋ＳＶＭ确实得到了更大逡逑的最小间隔，这是它的优化目标所致。我们所提的两个方法，得到的最小间隔逡逑虽然比ＳＶＭ的要小，但是整体来说，间隔较小（例如＜０）的样本总数要少逡逑于ＳＶＭ，间隔较大（例如＞０．５）的样本总数要多于ＳＶＭ，因此我们的方法有逡逑更好的间隔分布，也从而有更好的泛化性能和鲁棒性。在其他数据集上也有与逡逑图２．２类似的结果。逡逑ｇｅｒｍａｎ逡逑ｓ：］邋■逡逑４０－１逦－0５逦0。逦0５逦１0逦睡冗邋１５逡逑－０．５逦０．０逦间隔邋０５逦１0逦＾＾邋１．５逡逑－０．５逦０．０逦间隔邋０．５逦１０逦１．５逡逑图２．２：邋ＳＶＭ、ＯＤＭＡ和ＯＤＭ在数据集ｇｅｒｍａｎ邋ｈeA终输出的Ｎ隔分布的频度ｆｔ方阁，逡逑ＯＤＭ＾＂和ＯＤＭ得到的最小间隔虽然比ＳＶＭ要小，但是间隔分布要显著好于ＳＶＭ逡逑Ｉ冬１２＿３展邋４邋Ｉ＂在数掘集邋ａｕｓｔｒａ、ｈｅａｒｔ－ｓｔａｔｌｏｇ、ｇｅｒｍａｎ、ａｕｓｔｒａｌｉａｎ邋上

隔小于ｆ的样本占整个数据集的比例逡逑务器上进行，求解的软件是ＭＡＴＬＡＢ邋（２０１２ｂ）。每个数据集的平均时间开销逡逑（单位：秒）如图２．４所示。记ＬＩＢＬ丨ＮＥＡＲ软件包＿实现的ＳＶＭ为ＳＶＭ／，逡逑记ＳＧＤ软件包１邋见的ＳＶＭ为ＳＶＭ，。可以看出，ＳＶＭ，和我们的方法都快于逡逑ＳＶＭ”这要归功于ＳＧＤ的速度。ＯＤＭ７？和ＯＤＭ仅仅在２个数据集上（ｗ８ａ逡逑和ｃｏｄ－ｒｎａ）上稍慢于ＳＶＭ、．，其他数据集上都是相当的。注意ＳＶＭｊＰＳＶＭ，逡逑都是ＳＶＭ非常成熟和高效的实现，因此可以说我们的方法在计算开销上还是逡逑可接受的。逡逑２．５小结逡逑本文提出了面向二分类问题的最优间隔分布学习机ＯＤＭ，通过将任务形逡逑式化为最大化间隔均值同时最小化间隔方差来优化间隔分布，并提出一种基于逡逑对偶坐标下降的方法进行求解。对于大规模数据集，本文提出了基于ＳＶＲＧ的逡逑＇ｈｔｔｐ：／／ｌｅｏｎ．ｂｏｔｔｏｕ．ｏｒｇ／ｐｒｏｊｅｃｔｓ／ｓｇｄ逡逑

【相似文献】

相关期刊论文 前10条

1 杨仁海,李茂季,赵郁森;随机起始间隔分布实验[J];原子能科学技术;1986年02期

2 史永谦 ,李茂季 ,刘仁康 ,赵郁森 ,郑伍钦 ,杨仁海;间隔分布法测量反应堆动态参数[J];原子能科学技术;1983年05期

3 陈加略;姜远;;最优间隔分布脊回归[J];计算机研究与发展;2017年08期

4 何亭;徐秀莲;王旭明;;3位画家创作的高峰类型及时间间隔分布[J];科技导报;2011年34期

5 陈利高;余纲林;王侃;李成龙;杨鑫;;中子噪声间隔分布实验及计算方法研究[J];核动力工程;2010年S2期

6 白伦;定纤生丝的接绪间隔分布解析[J];苏州大学学报(工科版);2002年01期

7 程凡永;罗海波;阮志强;;基于快速区域定位和二重间隔分布机的行人检测[J];湖南理工学院学报(自然科学版);2017年02期

8 赵庚升;张宁;周涛;;网页浏览中的标度行为研究[J];统计与决策;2009年01期

9 郑木华;姜罗罗;赵明;;股票交易时间间隔分布特征的实证研究[J];复杂系统与复杂性科学;2012年02期

10 顾亦然;李金发;谢鸿飞;;阵发特性影响因素的研究[J];计算机技术与发展;2010年09期

相关会议论文 前1条

1 夏发生;朱宏;;鲶鱼(parasilurus asotus)坛形电感官的生理特性及环境电场分析[A];中国地震学会第三次全国地震科学学术讨论会论文摘要汇编[C];1986年

相关博士学位论文 前3条

1 张腾;最优间隔分布学习机[D];南京大学;2019年

2 王澎;人类在线行为的实证和建模[D];中国科学技术大学;2011年

3 程凡永;间隔分布正则化机器学习理论及其应用研究[D];湖南大学;2017年

相关硕士学位论文 前10条

1 丁毅;间隔分布逻辑回归及其拓展研究[D];南京航空航天大学;2018年

2 陈加略;基于间隔分布的脊回归和主动学习[D];南京大学;2016年

3 史正谦;基于间隔分布优化的大间隔分类器改进方法研究[D];吉林大学;2016年

4 吴昌楠;新的基于优化间隔分布的AdaBoost算法[D];西安电子科技大学;2013年

5 李瑞冰;通信业务的分布特征及建模[D];北京邮电大学;2017年

6 孙芳芳;移动互联网主要数据业务的分布规律研究[D];北京邮电大学;2015年

7 朱鹏飞;基于特征空间邻域结构分析的故障识别方法[D];哈尔滨工业大学;2011年

8 张标;基于管型空域航路规划方法研究[D];中国民航大学;2014年

9 夏浩峻;移动路径中人类行为模式研究[D];华中科技大学;2011年

10 王月;手机在线阅读中人类行为动力学的研究[D];北京邮电大学;2012年

本文编号：2720083