快速多核学习分类研究及应用

发布时间：2017-10-16 23:38

  本文关键词：快速多核学习分类研究及应用

  更多相关文章： 多核学习 核评估 高光谱图像分类 不平衡分类 自然图像分类

【摘要】：核学习是一种非常流行的非线性分类问题解决方法,它通过构建核矩阵来描述样本在高维空间的相似程度,达到种类区分目的。多核学习是核学习新的发展和研究方向。相比于传统的单核学习,多核学习整合多个子核到一个统一的优化框架内,从而寻求多个子核之间的一种最佳组合。多核学习可以有效避免核参数的经验调节,减少了人为参与。另外,当子核对应单个特征或者每一维时,多核学习还可以很好地解决特征选择和维数约简问题。但是多核学习的高计算复杂度,使得它在学习训练过程中花费了大量的时间。这一特性大大阻碍了多核学习在实际工程中的应用。本论文针对这个问题,通过预先筛选有益于分类的子核和构造随机核的方法来加速多核学习的训练过程。此外,凭借在多核学习研究过程中得到的理论,本论文成功把多核学习应用到高光谱图像和自然图像分类中。本论文的工作可以具体概括如下:1.针对多核学习复杂度高的问题,提出了选择性的多核学习。通过理论分析,发现多核学习可以看作是集成学习的一种特殊形式。因此,选择性多核学习使用集成策略预先选择一些高辨别大差异的子核。为了评估核的辨别能力和差异性,设计了一种新的核评估方法。与经典的核评估方法核排列相比,该评估方法能提供量化的结果与更精确的差异性评估。经过预先选择有益于分类的子核,选择性多核学习节省了内存,加快了训练过程。尤其是该方法可以与多核学习L∞范数约束相结合,从而大大节省了计算时间和内存。其整个运行代价仅仅相当于运行一次单核学习。通过大量的实验验证,该方法比传统的多核学习方法,速度更快,耗用内存更少,同时获得了相当或者更高的分类精度。2.针对多核学习中核矩阵构造耗时太长的问题,提出了基于随机核的多核学习方法。由极限学习机得到启发,当单影层神经网络中的隐层节点数目足够多,在隐藏节点权重随机赋值的情况下,给定一个在任意区间无限可导的激活函数,Single-hidden Layer Feedforward Neural Network(SLFN)可以无限逼近拟合输入样本集。由于激活函数中的权重可以随机赋值,ELM是一种无参数的学习机。论文使用Extreme learning machine(ELM)中的激活函数为多核学习构造随机核,减少了待优化的子核规模。尤其是该方法跟上文的选择性多核学习方法相结合,从而大大加速了多核学习的核构造和训练时间。并且,通过Rademacher复杂度分析,多核学习的一般性误差上界随着子核规模的减少而降低。因此,本文的方法理论上可以获得更好的分类结果。通过在多个数据库上验证,基于随机核的方法使得多核学习速度更快,占用内存更少,而且拥有相当或者更高的分类精度。3.多核学习应用于高光谱图像分类识别。针对高光谱图像维数过高的问题,提出了一种两阶段多核学习方法来进行维数约简。由于多核学习一般性误差的上确界随着子核数目的增加而升高,高光谱图像中过高的维数生成了大量的子核。因此,直接使用多核学习对高光谱图像进行维数约简是不合理的。论文设计了一种两阶段的多核学习方法,通过预先构造有益于分类的子核,来降低待优化的子核数目,从而获得比直接使用多核学习更好的分类结果。在多个高光谱图像上实验验证,对比于经典的特征选择方法,两阶段的多核学习获得了更佳的分类性能。4.多核学习应用于高光谱图像不平衡分类识别。当分类任务中存在某些种类样本数量过少的时候,传统的分类方法会因为倾向于把样本划分为样本数目较多的种类,而不能胜任。为了平衡各个种类的关系,集成学习是一种常用的方法。但是现有的集成方法没有考虑所选的分类器,因此其所提供的集成策略针对某一具体的分类器而言往往不是最优的。因为高光谱图像的高维小样本特性,使得支撑矢量机(Support Vector Machine SVM)成为高光谱分类中一个常用的分类器。因为SVM使用maximum margin作为分类准则,所以论文充分考虑了高光谱图像分类器的特性,借鉴了多核学习的方法,提出了一种基于maximum margin的集成策略。经过多个高光谱图像的实验验证,该方法在高光谱图像分类上,要优于传统的不平衡分类方法。5.多核学习应用于自然图像分类识别。针对自然图像分类中的金字塔划分方法过于单一的问题,提出了一种弹性的金字塔划分方法。论文不再拘束于金字塔正交四划分的形式,可以任意地划分图像。因此。如何从随意的划分方式中选出最佳的一组划分方式就非常重要了。论文采用第一个工作中的核评估方法来评估不同划分方式的好坏,然后使用克隆免疫算法搜索出一组最佳的划分方式。通过在多个自然图像数据库上实验比较得出,弹性金字塔方法比传统的金字塔方法在自然图像分类识别上具有更大的优势。
【关键词】：多核学习 核评估 高光谱图像分类 不平衡分类 自然图像分类
【学位授予单位】：西安电子科技大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP391.41
【目录】：

• 摘要5-7
• ABSTRACT7-13
• 符号对照表13-15
• 缩略语对照表15-20
• 第一章 绪论20-34
• 1.1 核学习20-21
• 1.2 多核学习的发展历史及研究现状21-24
• 1.2.1 半定规划求解多核学习21-22
• 1.2.2 二阶锥形规划求解多核学习22
• 1.2.3 基于切平面的交替优化求解多核学习22-23
• 1.2.4 基于梯度下降的交替优化求解多核学习23-24
• 1.2.5 基于解析优化的交替优化求解多核学习24
• 1.3 高光谱遥感图像分类24-28
• 1.3.1 高光谱图像分类难点25-26
• 1.3.2 高光谱图像维数约简研究现状26-28
• 1.3.3 高光谱图像不平衡分类研究现状28
• 1.4 自然图像分类28-30
• 1.4.1 自然图像分类的难点28-29
• 1.4.2 自然图像分类研究现状29-30
• 1.5 论文的主要内容30-34
• 第二章 选择性多核学习34-50
• 2.1 引言34
• 2.2 多核学习与集成学习的关系34-36
• 2.3 量化的核评估方法36-41
• 2.3.1 二元核评估37-38
• 2.3.2 核排列与二元核评估的比较38-41
• 2.4 选择性的多核学习41-43
• 2.4.1 基于聚类的核选择41-42
• 2.4.2 L∞约束下的选择性多核学习优化42-43
• 2.5 实验结果与分析43-48
• 2.5.1 实验设置43
• 2.5.2 UCI数据集上的实验43-46
• 2.5.3 场景图像集上的实验46-48
• 2.6 本章小结48-50
• 第三章基于随机核的多核学习50-64
• 3.1 引言50
• 3.2 基于随机核的多核学习50-54
• 3.2.1 基于随机核的多核学习时间复杂度分析50-51
• 3.2.2 随机核的构造51-53
• 3.2.3 基于随机核的多核学习理论分析53-54
• 3.3 基于随机核的选择性多核学习54-55
• 3.4 实验结果与分析55-63
• 3.4.1 UCI数据集上的实验55-59
• 3.4.2 模拟雷达图像库的实验59-61
• 3.4.3 胃癌的淋巴结检测实验61-63
• 3.5 本章小结63-64
• 第四章基于两阶段多核学习的高光谱降维64-82
• 4.1 引言64-65
• 4.2 多核学习的理论分析65-67
• 4.2.1 L1范数约束的多核学习一般性误差分析65-66
• 4.2.2 两阶段多核学习的理论分析66-67
• 4.3 两阶段多核学习67-69
• 4.3.1 两阶段多核学习的第一阶段68-69
• 4.3.2 两阶段多核学习的第二阶段69
• 4.4 实验结果与分析69-80
• 4.4.1 实验设置69-71
• 4.4.2 Salinas图像实验71-73
• 4.4.3 Indian Pines图像实验73-75
• 4.4.4 Pavia图像实验75-77
• 4.4.5 选择的波段分析77-78
• 4.4.6 多核学习优化时间分析78-79
• 4.4.7 参数分析79-80
• 4.5 本章小结80-82
• 第五章基于多核学习的不平衡高光谱图像分类82-94
• 5.1 引言82
• 5.2 传统分类器与经典的不平衡分类器82-85
• 5.2.1 传统分类器与不平衡数据82-83
• 5.2.2 经典的不平衡分类器83-85
• 5.3 基于多核学习的不平衡分类器85-88
• 5.3.1 选用最大margin准则的理由85-86
• 5.3.2 生成新分类器86-87
• 5.3.3 最大margin的分类器集成87
• 5.3.4 基于多核学习的最大margin分类器求解87-88
• 5.4 实验结果与分析88-92
• 5.4.1 实验设置88-90
• 5.4.2 分类结果比较与分析90-91
• 5.4.3 参数分析91-92
• 5.5 本章小结92-94
• 第六章基于多核学习的自然图像分类94-114
• 6.1 引言94-96
• 6.2 空间金子塔划分与多核学习的关系96-97
• 6.3 弹性空间金子塔划分97-102
• 6.3.1 最大辨别力与差异性准则97-98
• 6.3.2 基于克隆免疫的搜索98-100
• 6.3.3 基于多核学习的权重分配100-102
• 6.4 实验结果与分析102-112
• 6.4.1 实验设置102-103
• 6.4.2 Caltech101图像库实验103-108
• 6.4.3 Caltech256图像库实验108-109
• 6.4.4 Oxford flowers图像库实验109-110
• 6.4.5 参数分析110-112
• 6.5 本章小结112-114
• 第七章 总结与展望114-118
• 参考文献118-134
• 致谢134-136
• 作者简介136-138
• 1. 基本情况136
• 2. 教育背景136
• 3. 攻读博士学位期间的研究成果136-138

【相似文献】

中国期刊全文数据库 前10条

1 谌德荣;宫久路;陈乾;曹旭平;;基于样本分割的快速高光谱图像异常检测支持向量数据描述方法[J];兵工学报;2008年09期

2 王雷;乔晓艳;董有尔;张姝;尚艳飞;;高光谱图像技术在农产品检测中的应用进展[J];应用光学;2009年04期

3 蒲晓丰;雷武虎;张林虎;蒋奇材;;基于Fukunaga-Koontz变换的高光谱图像异常检测[J];红外技术;2010年04期

4 成宝芝;郭宗光;;高光谱图像波段间相关特性研究[J];大庆师范学院学报;2013年06期

5 王庆国;黄敏;朱启兵;孙群;;基于高光谱图像的玉米种子产地与年份鉴别[J];食品与生物技术学报;2014年02期

6 杨龙;易宏杰;李因彦;;遥感高光谱图像赤潮识别[J];传感器世界;2007年05期

7 汪倩;陶鹏;;结合空间信息的高光谱图像快速分类方法[J];微计算机信息;2010年21期

8 王立国;孙杰;肖倩;;结合空-谱信息的高光谱图像分类方法[J];黑龙江大学自然科学学报;2010年06期

9 冯朝丽;朱启兵;朱晓;黄敏;;基于光谱特征的玉米品种高光谱图像识别[J];江南大学学报(自然科学版);2012年02期

10 徐爽;何建国;马瑜;梁慧琳;刘贵珊;贺晓光;;高光谱图像技术在水果品质检测中的研究进展[J];食品研究与开发;2013年10期

中国重要会议论文全文数据库 前10条

1 张兵;王向伟;郑兰芬;童庆禧;;高光谱图像地物分类与识别研究[A];成像光谱技术与应用研讨会论文集[C];2004年

2 高连如;张兵;孙旭;李山山;张文娟;;高光谱数据降维与分类技术研究[A];第八届成像光谱技术与应用研讨会暨交叉学科论坛文集[C];2010年

3 王成;何伟基;陈钱;;基于波段重组和小波变换的高光谱图像嵌入式压缩方法[A];黑龙江、江苏、山东、河南、江西 五省光学（激光）联合学术‘13年会论文（摘要）集[C];2013年

4 孙蕾;罗建书;;基于分类预测的高光谱遥感图像无损压缩[A];第一届建立和谐人机环境联合学术会议（HHME2005）论文集[C];2005年

5 杨勇;刘木华;邹小莲;苗蓬勃;赵珍珍;;基于高光谱图像技术的猕猴桃硬度品质检测[A];走中国特色农业机械化道路——中国农业机械学会2008年学术年会论文集（下册）[C];2008年

6 张晓红;张立福;王晋年;童庆禧;;HJ-1A卫星高光谱遥感图像质量综合评价[A];第八届成像光谱技术与应用研讨会暨交叉学科论坛文集[C];2010年

7 高东生;高连知;;基于独立分量分析的高光谱图像目标盲探测方法研究[A];国家安全地球物理丛书（八）——遥感地球物理与国家安全[C];2012年

8 冯维一;陈钱;何伟基;;基于小波稀疏的高光谱目标探测算法[A];黑龙江、江苏、山东、河南、江西 五省光学（激光）联合学术‘13年会论文（摘要）集[C];2013年

9 彭妮娜;易维宁;方勇华;;基于核函数的高光谱图像信息提取研究[A];光子科技创新与产业化——长三角光子科技创新论坛暨2006年安徽博士科技论坛论文集[C];2006年

10 蒲晓丰;雷武虎;黄涛;王迪;;基于稳健背景子空间的高光谱图像异常检测[A];中国光学学会2010年光学大会论文集[C];2010年

中国博士学位论文全文数据库 前10条

1 普晗晔;高光谱遥感图像的解混理论和方法研究[D];复旦大学;2014年

2 王亮亮;非线性流形结构在高光谱图像异常检测中的应用研究[D];国防科学技术大学;2014年

3 贺智;改进的经验模态分解算法及其在高光谱图像分类中的应用[D];哈尔滨工业大学;2014年

4 魏然;基于成像机理分析的高光谱图像信息恢复研究[D];哈尔滨工业大学;2015年

5 叶珍;高光谱图像特征提取与分类算法研究[D];西北工业大学;2015年

6 冯婕;基于软计算和互信息理论的遥感图像地物分类[D];西安电子科技大学;2014年

7 孙涛;快速多核学习分类研究及应用[D];西安电子科技大学;2015年

8 贺霖;高光谱图像自动目标检测技术研究[D];西北工业大学;2007年

9 周爽;蚁群算法在高光谱图像降维和分类中的应用研究[D];哈尔滨工业大学;2010年

10 陈雨时;基于光谱特性的高光谱图像压缩方法研究[D];哈尔滨工业大学;2007年

中国硕士学位论文全文数据库 前10条

1 丰烁;高光谱图像波段选取问题的改进算法研究[D];昆明理工大学;2015年

2 赵伟彦;果蔬干燥过程中的品质无损检测技术研究[D];江南大学;2015年

3 马亚楠;果蔬中内部害虫的高光谱图像检测技术研究[D];江南大学;2015年

4 刘大洋;基于近红外光谱和高光谱图像技术无损识别猕猴桃膨大果[D];西北农林科技大学;2015年

5 王坤;高光谱图像异常目标检测及光谱成像在伪装评估方面的应用研究[D];南京理工大学;2015年

6 王启聪;高光谱图像分类的GPU并行优化研究[D];南京理工大学;2015年

7 程凯;无先验信息的高光谱图像小目标检测算法研究[D];苏州大学;2015年

8 李秩期;基于高光谱及多信息融合的马铃薯外部缺陷无损检测研究[D];宁夏大学;2015年

9 王健;基于高光谱图像的马铃薯形状及重量分类识别建模研究[D];宁夏大学;2015年

10 吴蓓芬;偏振高光谱图像场景仿真及分类方法研究[D];哈尔滨工业大学;2015年

，

本文编号：1045593