组Lasso模型及坐标下降算法研究

发布时间：2017-03-23 11:18

  本文关键词：组Lasso模型及坐标下降算法研究，由笔耕文化传播整理发布。

【摘要】：随着对数据挖掘问题的深入探索,其研究对象的特征维数急剧增加,从而涌现出了大量的高维数据。而这些高维数据之间大都是存在冗余的,影响模型分类准确性的同时还降低了计算速度。为了从大量高维数据中挖掘出有用信息,特征选择已成为众多专家学者的首选。本文介绍了一种使模型具有稀疏性的特征选择方法——Lasso,并对其进行了简单阐述。针对其局限性,重点介绍了组Lasso和稀疏组Lasso方法,并在已有的研究基础上做了如下工作。首先,介绍了线性模型下的组Lasso基本原理,并基于坐标下降算法给出了适合组Lasso参数求解的块坐标下降算法;通过分析岭回归,Lasso和组Lasso三种方法罚函数的几何性质以及对其进行的仿真实验,说明组Lasso方法能够保证组间稀疏的特性。其次,将组Lasso方法由线性模型推广到logistic模型进行识别分类,并将其应用于对红斑鳞状皮肤病的疾病诊断。皮肤病数据是名词性数据,这里给出了虚拟编码的定义,并对已编码的变量进行不同分组实验。实验结果表明,该方法有效的解决了红斑鳞状皮肤病的分类诊断问题。最后,本文结合Lasso方法的单变量稀疏性和组Lasso方法的组变量稀疏性给出了稀疏组Lasso方法的基本原理,通过仿真实验验证了稀疏组Lasso方法较Lasso和组Lasso方法的优越性。随后采用BCI竞赛IV的脑电数据进行实验,结果证明,该方法可以获得较低的错误率并实现同时通道选择和特征选择。
【关键词】：特征选择 Lasso 组Lasso 稀疏组Lasso 坐标下降 通道选择
【学位授予单位】：燕山大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13
【目录】：

• 摘要5-6
• Abstract6-9
• 第1章 绪论9-15
• 1.1 特征选择及研究现状9-11
• 1.2 正则化特征选择方法研究现状11-13
• 1.3 本文主要研究内容及章节安排13-15
• 第2章 组Lasso罚回归模型15-27
• 2.1 引言15
• 2.2 基本原理15-19
• 2.2.1 岭回归15-16
• 2.2.2 Lasso16-17
• 2.2.3 组Lasso17
• 2.2.4 块坐标下降算法17-19
• 2.3 罚函数几何性质分析19-20
• 2.4 实验仿真20-26
• 2.4.1 仿真数据21
• 2.4.2 稀疏性分析21-25
• 2.4.3 不同参数下组Lasso方法性能分析25-26
• 2.5 本章小结26-27
• 第3章 组Lasso罚多值logistic回归模型27-37
• 3.1 引言27
• 3.2 组Lasso罚多值logistic模型27-31
• 3.2.1 模型定义27-29
• 3.2.2 块坐标下降算法29-31
• 3.3 应用背景31-32
• 3.4 实验步骤32-34
• 3.5 实验结果与分析34-36
• 3.6 本章小结36-37
• 第4章 稀疏组Lasso模型37-59
• 4.1 引言37
• 4.2 稀疏组Lasso罚高斯回归模型37-42
• 4.2.1 模型定义和块坐标下降算法37-39
• 4.2.2 组内选择和组间选择39-42
• 4.3 稀疏组Lasso罚logistic回归模型42-45
• 4.4 实验结果与分析45-58
• 4.4.1 实验数据45-48
• 4.4.2 实验设计48-50
• 4.4.3 实验结果50-58
• 4.5 本章小结58-59
• 结论59-61
• 参考文献61-67
• 攻读硕士学位期间承担的科研任务与主要成果67-68
• 致谢68-69
• 作者简介69

【相似文献】

中国硕士学位论文全文数据库 前6条

1 薛芳;组Lasso模型及坐标下降算法研究[D];燕山大学;2015年

2 谢仪;基于Lasso类方法的指数跟踪问题研究[D];太原理工大学;2015年

3 柯郑林;Lasso及其相关方法在多元线性回归模型中的应用[D];北京交通大学;2011年

4 李红旺;基于LASSO算法的多性状QTL条件定位方法[D];上海交通大学;2014年

5 刘丛瑜;基于Lasso的股指期货统计套利研究[D];西南财经大学;2011年

6 郭梦;MQ-RBF和Lasso模型在一类热传导反问题中的应用[D];大连理工大学;2013年

  本文关键词：组Lasso模型及坐标下降算法研究，由笔耕文化传播整理发布。

，

本文编号：263611