线性化乘子交替方向法求解稀疏组最小一乘模型

发布时间：2018-08-17 18:02

【摘要】：由于最小绝对收缩和选择算子(LASSO)模型在高维数据中应用的广泛性,LASSO模型流行开来,一些推广的LASSO模型也被提出来了.稀疏组LASSO是一个重要的LASSO类模型,这个模型是用来求解变量有分组性质的线性回归问题,而且这个模型求出的未知系数解不仅有组间稀疏性也有组内稀疏性.同时,我们知道当噪声服从重尾分布或有奇异值时,最小一乘是一个有用的模型.本文,我们将结合这两种经典的思想,提出一个稀疏组LAD模型.我们将证明,在一定条件下,稀疏组LAD模型的估计量有near oracle性质,即估计误差L2范数的阶达到O(√klogp/n)将以大概率成立.而且,利用线性化技巧,我们推广了线性化乘子交替方向法来求解稀疏组LAD估计量,并证明此算法的收敛性.数值实验用于说明所提出算法的有效性.
[Abstract]:Because of the universality of the minimum absolute contraction and the selection operator (LASSO) model applied in high dimensional data, some generalized LASSO models have been proposed. Sparse group LASSO is an important LASSO class model, which is used to solve linear regression problems of variables with grouping properties. Moreover, the unknown coefficient solutions obtained by this model have not only inter-group sparsity but also intra-group sparsity. At the same time, we know that the minimum multiplication is a useful model when the noise is distributed from the heavy tail or has a singular value. In this paper, we propose a sparse group LAD model combining these two classical ideas. We will prove that under certain conditions, the estimator of sparse set of LAD models has near oracle property, that is, the order of L _ 2 norm of estimation error O (klogp/n) will hold in large probability. Furthermore, by using the linearization technique, we extend the linearized multiplier alternating direction method to solve the sparse LAD estimators, and prove the convergence of the algorithm. Numerical experiments are used to illustrate the effectiveness of the proposed algorithm.
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：O212.1

【相似文献】

相关期刊论文 前10条

1 康金章;交替方向法迭代参数的确定[J];福州大学学报;1962年02期

2 孙敏;;求解结构型单调变分不等式的投影类交替方向法[J];安徽大学学报(自然科学版);2009年02期

3 曾文平;多维振动问题的交替方向法[J];福州大学学报;1982年04期

4 浦志勤;;解线性变分不等式问题的一个简单交替方向法(英文)[J];南京师大学报(自然科学版);2007年03期

5 周瑾;交替方向法求解带线性约束的变分不等式[J];高等学校计算数学学报;1999年02期

6 黎景;;求解一类非对称单调变分不等式的非精确自适应交替方向法[J];数学理论与应用;2007年03期

7 胡伯霞;;一类非对称单调变分不等式的自适应交替方向法[J];衡阳师范学院学报;2008年03期

8 陶敏;唐诚;;缺失信息的主成份分析[J];南京邮电大学学报(自然科学版);2013年01期

9 蓝健朋;乐仲;刘光泓;申呈洁;;基于交替方向法的混合l_(2,1)-正规化的组稀疏优化算法[J];科技信息;2013年17期

10 李建宇;解非线性方程组的单调牛顿-交替方向法[J];高等学校计算数学学报;1982年02期

相关会议论文 前1条

1 李敏;何炳生;;求解带约束的min-max问题的预测校正交替方向法[A];2006年中国运筹学会数学规划分会代表会议暨第六届学术会议论文集[C];2006年

相关博士学位论文 前4条

1 晁绵涛;带回代乘子交替方向法与误差界研究[D];北京工业大学;2015年

2 王金江;乘子交替方向法与函数二阶增长条件[D];哈尔滨工业大学;2016年

3 郭科;非凸优化问题Douglas-Rachford分裂方法的收敛性分析[D];南京师范大学;2017年

4 贾泽慧;优化问题分裂算法及早高峰拥堵问题研究[D];南京师范大学;2017年

相关硕士学位论文 前10条

1 郭来鹏;求解H权重的最近相关系数矩阵问题的交替方向法[D];大连理工大学;2015年

2 窦莉峰;用交替方向法求解离散线性二次最优控制问题[D];河北工业大学;2015年

3 宋永存;求解带Stokes方程约束最优控制问题的交替方向法[D];吉林大学;2016年

4 吴中明;解可分离凸优化问题的线性化交替方向法[D];南京师范大学;2016年

5 王慧芳;线性化乘子交替方向法求解稀疏组最小一乘模型[D];北京交通大学;2017年

6 王艳艳;交替方向法及其改进算法的研究[D];重庆大学;2013年

7 黎蕾;求解凸最优化问题的近似交替方向法[D];重庆师范大学;2013年

8 黎景;求解一类单调变分不等式的交替方向法[D];湖南大学;2008年

9 李玉胜;交替方向法及其应用[D];中国科学技术大学;2015年

10 胡伯霞;求解一类非对称单调变分不等式的交替方向法[D];湖南大学;2006年

，

本文编号：2188451