低秩稀疏属性约简及其在数据挖掘中的应用

发布时间：2018-11-12 17:52

【摘要】：数据挖掘研究常用高维数据描述数据的特征。由于各种原因,例如数据多样性等,高维数据常含有无关、冗余属性。这些无关、冗余属性通常增加储存空间和计算时间,而且易导致维灾难等问题,最终降低数据挖掘的效率。属性约简通过降低属性的维数从高维数据中选出重要属性,已被显示除了解决以上问题,还能提高分类器的性能,在数据挖掘领域已经得到了广泛的应用。现有的属性约简方法包括属性选择和子空间学习两类。属性选择在保证原始结构的前提下选择相关属性子集。子空间学习把原始数据从高维度空间投影到低维度空间,保持数据相关结构,同时能去除离群样本和无关属性。总之,属性选择比子空间学习更具有解释性,而子空间学习比属性选择更具稳定性。本文融合属性选择和子空间学习到同一个模型,针对高维数据秩由于噪音影响升高等特点,合理考虑低秩表示和稀疏重构方法选取代表性的属性子集,并应用于单视图数据和多视图数据的分类研究和回归预测等应用。论文的主要内容和创新点为:(1)基于自表达方法在分类方面具有良好效果,本文结合属性自表达、低秩稀疏等技术,提出了一种单视图数据的无监督属性约简模型——自表达的低秩属性约简算法(RS_FS算法)。RS_FS算法利用低秩约束和稀疏学习,把单视图无监督分类转成监督分类问题。具体地,RS_FS算法首先假设无监督数据含有潜在的类标签,即通过K-均值聚类方法得到类标签指示向量;然后利用属性自表达方法充分考虑不同属性间的自相似关系得到属性自表达矩阵;并在目标函数中对已得到的重构系数矩阵做稀疏处理。在得到的目标函数中,子空间学习方法保持数据间的全局结构使得在稀疏处理时确保最相关的若干样本不被稀疏处理;低秩表示针对重构系数矩阵进行低秩约束并按重要性大小选取前r个特征值对应的特征向量。通过跟对比算法在公开数据集的实验比较,RS_FS对数据分类比对比算法有好的效果。(2)数据的多样性导致多视图数据应运而生,论文提出了一种基于低秩稀疏的属性约简算法(SLR_FS)。SLR_FS算法首先对每个视图数据进行重构获取单视图重构系数矩阵;然后利用稀疏重构技术对每个视图重构系数矩阵进行稀疏处理,去除相应的噪声样本和冗余属性;接着利用低秩表示处理不同视图之间相关性并保持不同视图数据间的全局数据结构,并对得到的每个视图稀疏重构系数矩阵进行线性联合。最后,结合子空间算法进一步调整得到的重构系数矩阵。经与对比算法进行的实验验证,SLR_FS算法在各种评价指标上均取得了很好的回归效果。本论文主要针对不同类型的高维数据(包括多视图数据和单视图数据),分析并设计了新颖的属性约简算法。具体地,本文以低秩表示理论和稀疏重构方法为核心技术,并针对单视图数据和多视图数据的特点及数据结构,结合相关技术,提出代表性的属性子集。同时,为验证提出新算法的实效性,论文中所有算法均在同一个实验环境进行验证和分析。而且本文结合分类和回归作为实验的检验途径,并对每种途径选取了三种评价指标。在各类实验结果和评价指标方面,本文论文提出的新算法均优于选取的现有算法。在未来的工作中,本人将考虑运用深度学习对提出的属性约简算法进行进一步的优化。
[Abstract]:......
【学位授予单位】：广西师范大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP311.13

【相似文献】

相关期刊论文 前10条

1 黄源,张福炎;数据挖掘及其技术实现[J];计算机应用与软件;2001年12期

2 香丽芸;浅谈数据挖掘及其应用[J];昌吉师专学报;2001年02期

3 郑雪燕,张杰明,岳洋;数据挖掘语言[J];计算机时代;2001年11期

4 刘明晶;数据挖掘[J];华南金融电脑;2001年04期

5 张伟;刘勇国;彭军;廖晓峰;吴中福;;数据挖掘发展研究[J];计算机科学;2001年07期

6 钟晓;马少平;张钹;俞瑞钊;;数据挖掘综述[J];模式识别与人工智能;2001年01期

7 朱建平,张润楚;数据挖掘的发展及其特点[J];统计与决策;2002年07期

8 傅岚;在数据海洋中打捞信息数据挖掘[J];科技广场;2002年11期

9 李峻;数据挖掘,企业洞察先机的“慧眼”[J];中国计算机用户;2002年48期

10 罗可,蔡碧野,卜胜贤,谢中科;数据挖掘及其发展研究[J];计算机工程与应用;2002年14期

相关会议论文 前10条

1 史东辉;蔡庆生;张春阳;;一种新的数据挖掘多策略方法研究[A];第十七届全国数据库学术会议论文集（研究报告篇）[C];2000年

2 张弦;;数据挖掘在农业中的应用[A];纪念中国农业工程学会成立30周年暨中国农业工程学会2009年学术年会（CSAE 2009）论文集[C];2009年

3 魏顺平;;教育数据挖掘:现状与趋势[A];信息化、工业化融合与服务创新——第十三届计算机模拟与信息技术学术会议论文集[C];2011年

4 关清平;沉培辉;;概率网络在数据挖掘上的应用[A];科技、工程与经济社会协调发展——中国科协第五届青年学术年会论文集[C];2004年

5 丁瑾;;基于Web数据挖掘的综述[A];山西省科学技术情报学会学术年会论文集[C];2004年

6 聂茹;田森平;;Web数据挖掘及其在电子商务中的应用[A];中南六省（区）自动化学会第24届学术年会会议论文集[C];2006年

7 李菊;王军;;数据挖掘在客户关系管理的应用[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

8 肖阳;李启贤;;数据挖掘在中国钢铁行业中的应用[A];中国计量协会冶金分会2012年会暨能源计量与节能降耗经验交流会论文集[C];2012年

9 杨磊;王贵成;汪勇;张占胜;;SQL Server 2005在数据挖掘中的应用[A];2009年中国智能自动化会议论文集（第二分册）[C];2009年

10 谢中;邱玉辉;;面向商务网站有效性的数据挖掘方法[A];第十八届全国数据库学术会议论文集（技术报告篇）[C];2001年

相关重要报纸文章 前10条

1 本报记者褚宁;数据挖掘如“挖金”[N];解放日报;2002年

2 周蓉蓉;数据挖掘需要点想像力[N];计算机世界;2004年

3 □中国电信股份有限公司北京研究院 张舒博 □北京邮电大学计算机科学与技术学院 牛琨;走出数据挖掘的误区[N];人民邮电;2006年

4 《网络世界》记者 王莹;数据挖掘保险业的新蓝海[N];网络世界;2012年

5 刘俊丽;基于地理化的网络数据挖掘与分析提升投资有效性[N];人民邮电;2014年

6 本报记者 连晓东;数据挖掘：金融信息化新热点[N];中国电子报;2002年

7 本报记者 凤小华 朱仁康;“数字挖掘软件”引领中国信息化新浪潮[N];中国电子报;2003年

8 本报记者　史延廷;“成功企业数据挖掘暨数量化管理论坛”在京举办[N];中国旅游报;2002年

9 朱小宁;数据挖掘：信息化战争的基础工程[N];解放军报;2005年

10 本报记者 王小平;从“大集中”走向数据挖掘[N];金融时报;2002年

相关博士学位论文 前10条

1 于自强;海量流数据挖掘相关问题研究[D];山东大学;2015年

2 张馨;全基因组SNP芯片应用于CNV和L0H分析的软件比对与数据挖掘[D];复旦大学;2011年

3 彭计红;基于数据挖掘的痴呆中医证的研究[D];南京中医药大学;2015年

4 李秋虹;基于MapReduce的大规模数据挖掘技术研究[D];复旦大学;2013年

5 邬文帅;基于多目标决策的数据挖掘方法评估与应用[D];电子科技大学;2015年

6 谢邦彦;整合数据挖掘与TRIZ理论的质量管理方法研究[D];首都经济贸易大学;2010年

7 何伟全;云南高校学生意外伤害因素关联规则挖掘及风险管控体系研究[D];昆明理工大学;2015年

8 段功豪;基于多结构数据挖掘的滑坡灾害预测模型研究[D];中国地质大学;2016年

9 白晓明;基于数据挖掘的复合材料宏—细观力学模型研究[D];哈尔滨工业大学;2016年

10 蓝永豪（LAM Wing Ho）;基于数据挖掘技术分析当代中医名家痤疮验方经验研究[D];南京中医药大学;2016年

相关硕士学位论文 前10条

1 林仁红;基于数据挖掘的机遇识别与评价研究[D];首都经济贸易大学;2007年

2 张彦俊;游戏运营中的数据挖掘[D];复旦大学;2011年

3 焦亚召;基于多核函数FCM算法在数据挖掘聚类中的应用研究[D];昆明理工大学;2015年

4 王杰锋;物联网能耗数据智能分析及其应用平台设计[D];江南大学;2015年

5 刘学建;数据挖掘在电子商务推荐系统中的应用研究[D];昆明理工大学;2015年

6 戴阳阳;基于数据挖掘的金融时间序列预测研究与应用[D];江南大学;2015年

7 石思优;基于主题模型的医疗数据挖掘研究[D];广东技术师范学院;2015年

8 陈丹;移动互联网信令挖掘实现智慧营销的设计与实现应用研究[D];华南理工大学;2015年

9 陈思;基于数据挖掘的大学生客户识别模型的研究[D];昆明理工大学;2015年

10 位长帅;基于客户数据挖掘的电信客户关系管理研究[D];西南交通大学;2015年

，

本文编号：2327787