结构稀疏模型及其算法研究进展

发布时间：2017-09-13 12:39

  本文关键词：结构稀疏模型及其算法研究进展

  更多相关文章： 稀疏 组稀疏 罚函数 组套索 特征组选择 组内特征选择 算法

【摘要】：结构稀疏模型在统计学、信号处理和机器学习等领域中具有重要的应用。结构稀疏模型主要通过在目标函数中引入会导致组稀疏效果的罚函数来实现特征组结构选择。有趣的是一些组稀疏模型不仅能实现特征组选择,而且同时能够实现组内的特征选择。根据使用的罚函数的类型,结构稀疏模型主要分为组套索模型和非凸罚组稀疏模型两大类。系统地总结了重要的组结构稀疏模型,分析了各种组结构稀疏模型之间的区别与联系,归纳比较了各种组结构稀疏模型的统计特性(例如模型选择一致性、参数估计一致性和oracle性质)和组结构稀疏模型的求解算法。当前,结构套索模型主要包括普通组套索模型、L∞,1组套索模型、重叠组套索模型、树组套索模型、多输出树组套索模型、混合组套索模型、自适应组套索模型、逻辑斯蒂组套索模型和贝叶斯组套索模型。非凸罚组稀疏模型包括组SCAD罚模型、组桥模型和组MC罚模型等。求解组稀疏模型的算法有组最小角回归算法、块坐标下降(上升)算法、活动集算法、内点算法、投影梯度算法、谱投影梯度算法、轮换方向乘子算法和块坐标梯度下降算法等,结合组稀疏模型对这些算法进行了详细的分析。在使用上述优化方法前,通常需要对目标函数进行预处理,将不平滑的、非凸的、块坐标不可分离的组稀疏模型的目标函数向平滑、凸、块坐标可分离的方向进行转化,这一步常利用的技巧有变分不等式、Nesterov的平滑近似技巧、局部一阶泰勒展开近似、局部二次近似、对偶范数和对偶函数等。接着给出了最新提出的一些组稀疏模型,如关于广义加模型的组套索模型、复合组桥模型、平方根组套索模型和关于Tobit模型的组套索模型等。最后,对组稀疏模型未来的研究方向进行了探讨。
【作者单位】： 中国石油大学(北京)自动化系;
【关键词】： 稀疏 组稀疏 罚函数 组套索 特征组选择 组内特征选择 算法
【基金】：中国石油大学(北京)基础学科研究基金项目(JCXK-2011-07)资助
【分类号】：TP181
【正文快照】： 本文受中国石油大学(北京)基础学科研究基金项目(JCXK-2011-07)资助。1引言随着社交网络、电子商务平台、基因组工程、智慧城市和智能电网等大数据应用的飞速发展,产生了大量几百维到十几万维的高维或超高维数据。这些数据的高维输入变量中只有很少一些变量与输出变量有比较高

【参考文献】

中国期刊全文数据库 前1条

1 王占锋;吴耀华;赵林城;;删失回归模型中一个LASSO型变量选择和估计方法(英文)[J];应用概率统计;2010年01期

【共引文献】

中国期刊全文数据库 前5条

1 刘建伟;崔立鹏;罗雄麟;;结构稀疏模型及其算法研究进展[J];计算机科学;2016年S1期

2 杨恢先;刘昭;刘阳;刘凡;贺迪龙;;基于超像素和局部稀疏表示的目标跟踪方法[J];系统仿真学报;2016年05期

3 叶仁玉;;删失回归模型的分位数变量选择和压缩估计[J];中国科学技术大学学报;2014年02期

4 孙静;;基于套索的小微企业贷款审批[J];合作经济与科技;2013年14期

5 刘显慧;王占锋;吴耀华;;删失回归模型中SCAD型变量选择与估计(英文)[J];中国科学技术大学学报;2013年03期

【二级参考文献】

中国期刊全文数据库 前2条

1 金曼,方易新,赵林城;删失回归模型中的变量选择(英文)[J];应用概率统计;2005年02期

2 ;RANDOM WEIGHTING METHOD FOR CENSORED REGRESSION MODEL[J];Journal of Systems Science and Complexity;2004年02期

【相似文献】

中国期刊全文数据库 前10条

1 盛守照,王道波,黄向华;有限样本下模型选择理论与方法研究[J];系统工程与电子技术;2005年04期

2 黄东远;陈晓云;;一种新的支持向量回归机的模型选择方法[J];福州大学学报(自然科学版);2011年04期

3 盛守照,王道波;基于预测风险最小化的模型选择理论与方法研究[J];系统工程;2004年04期

4 黄光远,朱月秋;森林火灾的模型及其扑灭问题[J];系统工程理论与实践;1988年02期

5 舒晓娟;陈洋波;任启伟;;模型选择准则在洪水频率分析中的应用[J];水利学报;2010年01期

6 陈建东;王小明;;LS-SVM模型选择的秩准则及其比较[J];计算机工程;2011年18期

7 J.G.Fossum ,徐玉辉;SOI MOSFET电路模拟的模型选择[J];微电子学;1989年02期

8 黄梯云,吴菲,卢涛;模型自动选择方法研究的进展[J];计算机应用研究;2001年04期

9 李海涛;李福忠;;基于信息流角度的企业结构式和简式模型选择[J];情报杂志;2007年03期

10 吴娅辉;刘刚;郭军;;基于模型混淆度的模型组合算法研究[J];自动化学报;2009年05期

中国重要会议论文全文数据库 前9条

1 张维;;模型选择:现状与发展[A];全国青年管理科学与系统科学论文集（第1卷）[C];1991年

2 金伟;周浩;于永利;;维修管理IDSS的设计方法[A];设备维修与改造技术论文集[C];2000年

3 曾菊英;许冰;;制度变迁及其模型选择[A];21世纪数量经济学（第10卷）[C];2009年

4 廖冬初;秦寿康;;县级规划总体优化模型及其计算方法[A];发展战略与系统工程——第五届系统工程学会年会论文集[C];1986年

5 张维;;关于模型选择中的若干理论问题[A];科学决策与系统工程——中国系统工程学会第六次年会论文集[C];1990年

6 战明华;李生校;;货币与产出的关系(1995～2003):不同模型的分析结果及其比较[A];中国金融学会第八届优秀论文评选获奖论文集[C];2005年

7 王树盛;;Probit模型及其在交通方式分担中的应用研究[A];可持续发展的中国交通——2005全国博士生学术论坛（交通运输工程学科）论文集（下册）[C];2005年

8 戴锋;梁玲;李兴兵;冯俊涛;;经济增长的动态进程模型及实证研究[A];第十四届中国管理科学学术年会论文集(上册)[C];2012年

9 韩珂;尹勤;;大学生手机话费模型的建立和分析[A];江苏省现场统计研究会第十次学术年会论文集[C];2006年

中国重要报纸全文数据库 前3条

1 建南;帮你建立有效客户关系[N];中国商报;2001年

2 首创期货研发中心金融工程组 徐泽平;方差-协方差法的VaR计量模型选择[N];期货日报;2007年

3 证券时报记者 杨波　金烨 程俊琳;量化投资走在中国 六年学步渐入佳境[N];证券时报;2010年

中国博士学位论文全文数据库 前9条

1 夏小超;统计检验与模型选择相关问题研究[D];重庆大学;2015年

2 朱素玲;模型选择与模型平均研究[D];兰州大学;2014年

3 房小兆;基于稀疏和低秩约束的模型学习研究[D];哈尔滨工业大学;2016年

4 吕子昂;模型选择的曲率方法研究[D];北京交通大学;2012年

5 常群;支持向量机的核方法及其模型选择[D];哈尔滨工业大学;2007年

6 贺利坚;多Agent系统中信任和信誉模型的研究[D];北京交通大学;2011年

7 张立明;结合可满足的基于模型等价性验证及不一致诊断问题研究[D];吉林大学;2012年

8 毛文涛;支持向量回归机模型选择研究及在综合力学环境预示中的应用[D];西安交通大学;2011年

9 刘靖旭;支持向量回归的模型选择及应用研究[D];国防科学技术大学;2006年

中国硕士学位论文全文数据库 前10条

1 张亚楠;基于宏微观模型推断钢构件强度的无损检测技术研究[D];中国矿业大学;2015年

2 单昕彤;认知诊断中模型—资料的测验拟合检验统计量研究[D];江西师范大学;2015年

3 井海银;超高维可加模型下的特征筛选[D];重庆大学;2015年

4 江婷婷;基于修正负二项分布的索赔次数模型研究[D];重庆大学;2015年

5 孙志滨;LDA模型的研究及其在推荐系统中的应用[D];浙江大学;2016年

6 仝景景;“碎片化数据”的模型平均方法[D];华东师范大学;2016年

7 肖馨梅;融合Lasso罚模型的理论与应用研究[D];燕山大学;2016年

8 尹潇潇;Meta分析中的模型选择与模型平均[D];云南财经大学;2016年

9 陈笑弟;交互效应下的模型选择[D];中国科学技术大学;2016年

10 孙式雪;高维数据在直接控制FDR下的模型选择[D];华中师范大学;2016年

，

本文编号：843799