核矩阵近似的研究及其在支持向量机中的应用

发布时间：2017-04-27 08:08

  本文关键词：核矩阵近似的研究及其在支持向量机中的应用，由笔耕文化传播整理发布。

【摘要】：近年来,由于互联网技术的快速发展,人工智能越来越受到人们的重视。然而由于数据的爆炸式增长,机器学习所面临的问题规模也越来越大,大规模核矩阵的计算和存储已经成为了主要核方法如支持向量机泛化能力的主要瓶颈。针对这一问题,研究人员提出了各种方法对核矩阵进行逼近。核矩阵近似算法的核心思想是用部分采样取代所有的数据计算核矩阵,这样就大大减少了所需要的时间和内存空间,其中最简单并且使用最多的就是Nystrom矩阵逼近方法。然而由于这种方法选取的样本点是随机抽样的,因此不可避免对逼近误差造成了较大影响。因此,研究者提出了一些改进算法,如集成Nystrom,其主要思想为增加采样点来减少误差；同时,也有一些其他方法,将聚类的思路融入到Nystrom方法中,同时考虑了核矩阵的低秩结构和聚类结构,如MEKA方法。可以看出,核矩阵近似方法的重点在于两方面,一方面是如何取样,另一方面是能否利用核矩阵的其他信息。因此,根据支持向量机的特点,将类标信息和决策边界信息作为核矩阵近似算法的参考依据,以提高支持向量机的效率是一个值得尝试的思路。本文详细介绍了支持向量机的思想和原理,以及已有几种主要的核矩阵近似方法,并且提出了一种基于协同聚类的Nystrom核矩阵近似算法,协同聚类是一种基于k-means聚类的算法,它可以在训练数据集中找到小规模最可能成为支持向量的样本点。通过协同聚类方法,可以使原始Nystrom算法中选取的样本点基本不丢失分类信息,这可以在保证分类精度基本不变的前提下,明显提高支持向量机算法的学习效率。虽然相对于原始Nystrom算法,这种方法会使时间复杂度稍有上升,但是相对于原始Nystrom算法,这种方法也拥有更高的分类准确率,基本与计算完整的核矩阵相当。此外,本文也将MEKA核矩阵近似算法应用于支持向量机中,利用类标信息将样本重新聚类,并且重新计算各角块之间的关系,实验表明这种算法可以明显降低原始MEKA算法的时间复杂度。
【关键词】：支持向量机 核矩阵近似 协同聚类
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP18;O151.21
【目录】：

• 致谢5-6
• 摘要6-7
• ABSTRACT7-11
• 1 引言11-18
• 1.1 研究背景11-13
• 1.2 国内外研究现状13-15
• 1.2.1 支持向量机的研究14-15
• 1.2.2 核矩阵近似的研究15
• 1.3 问题的提出及研究意义15-16
• 1.4 论文主要工作16-17
• 1.5 本章小结17-18
• 2 支持向量机18-27
• 2.1 支持向量机理论基础18-19
• 2.2 支持向量机原理19-22
• 2.3 线性不可分与核函数22-24
• 2.4 多核支持向量机24-26
• 2.5 本章小结26-27
• 3 核矩阵近似27-38
• 3.1 Nystrom核矩阵近似方法27-30
• 3.1.1 Nystrom方法近似特征函数27-28
• 3.1.2 Nystrom方法近似核矩阵28-30
• 3.2 几种改进的Nystrom核矩阵近似算法30-33
• 3.2.1 集成Nystrom算法(Ensemble Nystrom)30-31
• 3.2.2 利用随机SVD的Nystrom算法31-33
• 3.3 MEKA核矩阵近似方法33-37
• 3.4 本章小结37-38
• 4 基于改进核矩阵近似算法的支持向量机38-53
• 4.1 协同聚类38-45
• 4.1.1 聚类相关概念38-39
• 4.1.2 k-means聚类算法39-40
• 4.1.3 协同聚类算法40-45
• 4.2 基于协同聚类Nystrom算法的支持向量机45-48
• 4.2.1 协同聚类Nystrom算法45-46
• 4.2.2 算法实验验证46-48
• 4.3 基于类标MEKA算法的支持向量机48-51
• 4.3.1 嵌入类标信息的MEKA算法48-49
• 4.3.2 算法实验验证49-51
• 4.4 本章小结51-53
• 5 结论53-56
• 5.1 研究内容总结53-54
• 5.2 对未来工作的展望54-56
• 参考文献56-60
• 作者简历及攻读硕士学位期间取得的研究成果60-62
• 学位论文数据集62

【相似文献】

中国博士学位论文全文数据库 前3条

1 门昌骞;基于矩阵近似的机器学习算法加速研究[D];山西大学;2013年

2 刘松华;核矩阵低秩分解与核空间信息能度量研究及应用[D];西安电子科技大学;2011年

3 贾磊;核方法模型选择与模型组合的谱方法[D];天津大学;2010年

中国硕士学位论文全文数据库 前3条

1 张宸鸣;核矩阵近似的研究及其在支持向量机中的应用[D];北京交通大学;2015年

2 介文博;基于多核学习的高性能核分类方法研究[D];华东理工大学;2012年

3 陈鹏;图像Sobel处理的FPGA多核矩阵实现[D];沈阳理工大学;2013年

  本文关键词：核矩阵近似的研究及其在支持向量机中的应用，，由笔耕文化传播整理发布。

本文编号：330221