基于集合卡尔曼滤波的SVM参数优化方法研究

发布时间：2017-03-21 18:06

  本文关键词：基于集合卡尔曼滤波的SVM参数优化方法研究，，由笔耕文化传播整理发布。

【摘要】：支持向量机(SVM)是常用的机器学习算法。实现性能最优的SVM模型需要进行参数优化,这里的参数包括SVM算法的超参数、数据特征权重、训练过程中的Lagrange乘子,以及模型阈值。随着数据规模增长,给SVM应用带来挑战。为此,论文提出集合卡尔曼滤波(En KF)算法用于参数优化和特征优化,提高SVM优化效率和模型性能,En KF算法主要用于地球科学领域的数据同化。同时,根据SVM模型训练和参数优化特点,提出级联式技术用于加速SVM在参数优化过程中的模型训练。此外,论文以引力波噪声事件分析为主要应用对象,提出分层模型和ROC块算法,提供SVM模型的分类性能。论文工作包括:(1)提出基于En KF的SVM超参数优化方法。该方法包含多种优化技术,其中多集合用于避免局部最优,集合进化用于扩大搜索范围,集合归并算法用于提高集合表示能力,基于Householder变换的UR分解方法降低En KF计算开销。在此基础上建立En KF优化框架。实验结果表明,在限定参数采样条件下,与现有的三种贝叶斯优化算法比较,En KF方法优化效果更好。(2)提出基于En KF的特征选择和特征加权方法。针对高维空间,提出混合策略,采用过滤式技术进行降维,并且指导集合生成,同时建立两阶段的集合进化流程提高搜索效率。此外,En KF方法能够同时处理参数优化和特征优化。实验结果表明,在限定参数采样条件下,En KF方法能够大大减少特征数量,同时在一些数据集上实现性能提升。(3)提出级联式加速技术用于降低SVM在超参数优化过程中的训练开销。该技术利用低效维度特性,在不同训练任务之间建立级联,将已有模型结果作为初始条件用于SVM模型训练,减少计算过程中工作集选择。实验结果表明,在网格搜索中SVM的计算开销降低29.6%到84.5%,其它优化方法中SVM的计算开销平均降低21.9%到62.7%。(4)提出SVM分层模型用于引力波噪声事件分析。该应用为代价敏感的二分类问题。该模型基于非平衡树结构,通过逐层分类对噪声事件进行识别。同时,提出ROC块算法用于模型阈值选择和模型性能可视化。实验结果表明,在给定误警条件下,分层模型能够提高大约10%的识别性能。
【关键词】：集合卡尔马曼滤波 支持向量机 参数优化 特征选择 特征加权 分层模型 受试者工作特征曲线
【学位授予单位】：清华大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP181
【目录】：

• 摘要3-4
• Abstract4-10
• 第1章 引言10-23
• 1.1 研究背景10-19
• 1.1.1 支持向量机参数优化10-13
• 1.1.2 参数优化问题描述13-14
• 1.1.3 引力波数据分析14-19
• 1.2 论文主要工作和组织结构19-23
• 1.2.1 论文主要工作和创新点19-21
• 1.2.2 论文组织结构21-23
• 第2章 背景技术23-49
• 2.1 支持向量机23-26
• 2.1.1 理论基础23-25
• 2.1.2 训练算法25-26
• 2.2 参数优化26-35
• 2.2.1 常用方法26-28
• 2.2.2 数值优化方法28-31
• 2.2.3 智能优化方法31-35
• 2.3 特征优化35-39
• 2.3.1 特征选择35-38
• 2.3.2 特征加权38-39
• 2.4 集合卡尔曼滤波39-49
• 2.4.1 经典卡尔曼滤波原理40-43
• 2.4.2 扩展卡尔曼滤波原理43-46
• 2.4.3 集合卡尔曼滤波原理46-49
• 第3章 一种基于集合卡尔曼滤波的参数优化方法49-88
• 3.1 引言49-51
• 3.2 相关工作51-52
• 3.3 基于En KF的参数优化方法52-58
• 3.3.1 现有方法的问题52-54
• 3.3.2 方法论证54-55
• 3.3.3 方法定义55-58
• 3.4 基于En KF的参数优化框架58-75
• 3.4.1 框架设计60-64
• 3.4.2 集合归并算法64
• 3.4.3 计算优化64-72
• 3.4.4 其它实现72-75
• 3.5 实验结果与分析75-86
• 3.5.1 SVM参数75-76
• 3.5.2 实验配置76-79
• 3.5.3 实验结果79-86
• 3.6 本章小结86-88
• 第4章 一种基于集合卡尔曼滤波的特征优化方法88-111
• 4.1 引言88-90
• 4.2 相关工作90-92
• 4.3 基于En KF的特征优化方法92-101
• 4.3.1 现有方法的不足92-93
• 4.3.2 方法定义93-96
• 4.3.3 优化方案96-101
• 4.4 实验结果与分析101-109
• 4.4.1 实验配置101-102
• 4.4.2 性能比较102-107
• 4.4.3 过拟合问题107-109
• 4.5 本章总结109-111
• 第5章 一种针对SVM参数优化的加速技术111-133
• 5.1 引言111-112
• 5.2 背景技术112-117
• 5.2.1 SVM参数优化112-114
• 5.2.2 SVM算法 优化114-117
• 5.3 级联式加速技术117-123
• 5.3.1 参数优化特征117-119
• 5.3.2 两个优化问题119-120
• 5.3.3 方法定义120-122
• 5.3.4 方法实现122-123
• 5.4 实验评测123-131
• 5.4.1 实验配置123-124
• 5.4.2 实验结果124-131
• 5.5 本章总结131-133
• 第6章 一种针对引力波噪声事件分析的分层模型133-153
• 6.1 引言133-134
• 6.2 背景技术134-138
• 6.2.1 分层模型134-136
• 6.2.2 ROC曲线136-138
• 6.3 针对引力波数据的分层模型138-141
• 6.3.1 问题描述138
• 6.3.2 方法定义138-140
• 6.3.3 实际应用140-141
• 6.4 两种性能度量技术141-144
• 6.4.1 特定AUC度 量141
• 6.4.2 ROC块 算法141-144
• 6.5 实验结果与分析144-151
• 6.5.1 实验配置144-145
• 6.5.2 实验结果145-151
• 6.6 本章总结151-153
• 第7章 总结与展望153-156
• 7.1 论文总结153-154
• 7.2 工作展望154-156
• 参考文献156-167
• 致谢167-169
• 个人简历、在学期间发表的学术论文与研究成果169-170

【相似文献】

中国期刊全文数据库 前10条

1 孙伟;周阳花;奚茂龙;;非线性PID控制器参数优化方法[J];计算机工程与应用;2010年28期

2 谢攀;谭功全;张昌华;;一种简单的低阶时滞过程PID参数优化方法[J];自动化仪表;2013年06期

3 张建;;PID控制参数优化方法及基于MATLAB的仿真[J];信息通信;2013年02期

4 曾蓉;;基于MATLAB的PID参数优化方法的比较[J];重庆电力高等专科学校学报;2003年01期

5 门昌骞;王文剑;王平;;一种基于数据的核参数优化方法[J];电脑开发与应用;2006年01期

6 裴玉玲;;基于免疫原理的控制器参数优化方法(英文)[J];机床与液压;2012年12期

7 郑寇全;雷英杰;王睿;王毅;申晓勇;;基于BP算法的IFPN参数优化方法[J];控制与决策;2013年12期

8 王佳;徐蔚鸿;;基于动量粒子群的混合核SVM参数优化方法[J];计算机应用;2011年02期

9 孙春来;;窄带AMR参数优化方法及对MOS的影响[J];移动通信;2012年S2期

10 孙小丹;侯阳青;;光谱异质性参数优化方法及其在QuickBird影像中的应用[J];福建林业科技;2012年04期

中国博士学位论文全文数据库 前2条

1 季颖生;基于集合卡尔曼滤波的SVM参数优化方法研究[D];清华大学;2015年

2 吴菁;基于虚拟加工车削参数优化方法的研究[D];哈尔滨工业大学;2009年

  本文关键词：基于集合卡尔曼滤波的SVM参数优化方法研究，由笔耕文化传播整理发布。

本文编号：260068