复杂数据的变量选择与预测方法研究

发布时间：2020-04-10 05:40

【摘要】：大数据量、复杂数据结构、高维数据属性及复杂时变特征是大数据时代数据集的主要特点,面对这些复杂数据集,如何有效地选择信息变量、从中挖掘出关键的数据,并用其推断事物的未来发展,成为了一个至关重要的研究课题.本文围绕复杂数据的变量选择和预测等问题,从模型建立、算法设计和理论分析等方面进行了系统性的研究,并将相关算法应用到模拟数据集和工程领域的一些真实公开数据集中.本文的具体研究成果和创新点如下:1、针对高度相关性等复杂数据特征,本文首先研究了在该复杂数据特征下线性回归模型的变量选择问题,利用集成学习和信息理论,提出了一种有效的随机相关系数算法.其次,构建了一种变量选择集成方法,并给出了相关性度量分析、收敛性分析和三类变量选择的性能分析定理.最后,数值模拟实验表明提出的算法可以更有效地选择相关变量、排除无关变量、控制冗余变量,并进行了样本量影响分析和实际案例实验.2、针对高度相关、非线性等复杂数据特征,本文研究了在该复杂数据特征下非线性回归模型的变量选择问题.因为非线性回归模型的函数形式不易获取,本文着重讨论不依赖回归方程的变量选择准则,利用熵、互信息理论,提出了一种新颖的最大相关-最小共同冗余准则.基于该准则,本文进一步提出了一种有效的变量选择算法.该算法能有效地处理无模型假设的变量选择问题,同时也给出了相关性度量分析、算法性能分析定理.数值模拟实验中,这一算法被应用到含冗余特征的非线性问题、含高相关特征的非线性问题中,均可有效识别三类变量;另外,这一算法也被应用到Boston Housing等实际案例.通过模型对比实验,验证了该模型的优越性和有效性.3、针对非线性、大样本、不平衡等复杂数据特征,本文研究了在该复杂数据特征下支持向量回归预测方法的问题.在支持向量回归(SVR)的建模过程中,“支持向量”候选数据选择和模型参数选择是紧密关联的,两者会直接决定SVR模型的运行效率.本文在SVR理论的基础上,对大样本下的SVR学习问题进行建模,并利用统计学习理论、信息理论和启发式优化算法,提出了一种改进的支持向量回归预测模型.该算法能有效地结合训练数据选择和模型选择,并给出了收敛性分析定理.在此基础上,针对SVR的模型选择问题,利用序贯分析方法,提出了一种基于序贯网格方法的SVR模型.本算法在数值模拟实验中取得了很好的效果,在实际电网案例应用中也取得了良好的效果.通过模型对比实验,验证了该模型能嵌套地获取最优训练数据子集和模型参数.本文从复杂数据的内在关联结构出发,利用抽样技术、集成学习等统计机器学习方法,从线性和非线性模型两个方面分别建立基于数据驱动的变量选择与预测方法,并将其应用于工业领域的一些公开数据集和电网管理等实际案例中.研究成果适用于无先验模型结构的学习问题,并为复杂数据的运营分析提供理论基础.
【学位授予单位】：西安电子科技大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP311.13

【相似文献】

相关期刊论文 前10条

1 牟建波;刘峧;;基于惩罚方法的贝叶斯群组变量选择[J];绵阳师范学院学报;2017年02期

2 戴伯新;;回归变量选择中的数据诊断[J];应用概率统计;1992年04期

3 王银辉;徐文科;;基于风险函数评价自变量选择对预测的影响[J];哈尔滨师范大学自然科学学报;2012年01期

4 张春霞;李俊丽;;变量选择集成方法[J];工程数学学报;2019年01期

5 李太福;易军;苏盈盈;胡文金;余春娇;;基于特征子空间虚假邻点判别的软传感器模型变量选择[J];机械工程学报;2011年12期

6 张庆;李云霞;;函数型变量选择法用于空气质量影响因素实证分析[J];安庆师范大学学报(自然科学版);2017年04期

7 李扬;许文甫;马双鸽;;污染数据的稳健稀疏成组变量选择方法研究[J];统计与信息论坛;2018年06期

8 徐安察;王玮明;;应用统计类专业探究性教学模式探索与实践——以变量选择准则为例[J];赤峰学院学报(自然科学版);2014年19期

9 杨红;陈德棉;;个人住房抵押贷款违约相关变量选择[J];现代管理科学;2009年04期

10 钟先乐;樊亚莉;张探探;;基于t函数的稳健变量选择方法[J];上海理工大学学报;2017年06期

相关会议论文 前10条

1 张俊华;方伟武;;调查表分析中变量选择的一些方法(英文)[A];中国运筹学会第六届学术交流会论文集（下卷）[C];2000年

2 李慷;席裕庚;;复杂过程系统中操作变量选择与定位的方法研究[A];1993年控制理论及其应用年会论文集[C];1993年

3 罗荣富;邵惠鹤;;推断控制中二次变量选择方法的研究[A];1992年中国控制与决策学术年会论文集[C];1992年

4 徐登;范伟;梁逸曾;;紫外光谱结合变量选择和偏最小二乘回归同时测定水中重金属镉、锌、钴[A];中国化学会第29届学术年会摘要集——第19分会：化学信息学与化学计量学[C];2014年

5 曹磊;丛培盛;;偏相关系数矩阵方法用于烟草质量控制的变量选择[A];第九届全国计算（机）化学学术会议论文摘要集[C];2007年

6 梁逸曾;李洪东;许青松;曹东升;张志敏;;灰色化学建模与模型集群分析——兼论过拟合、稳健估计、变量选择与模型评价[A];中国化学会第27届学术年会第15分会场摘要集[C];2010年

7 李洪东;梁逸曾;;高维数据变量选择新方法研究[A];中国化学会第27届学术年会第15分会场摘要集[C];2010年

8 刘咸姝;潘日芳;;满意控制结构综合的专家系统[A];1996年中国智能自动化学术会议论文集（上册）[C];1996年

9 范伟;李洪东;梁逸曾;;近红外光谱结合CARS变量选择方法用于食醋中总酸的测定[A];中国化学会第28届学术年会第9分会场摘要集[C];2012年

10 张俊华;;南水北调一中线调水区域内降水的时空变化规律的分析研究[A];面向复杂系统的管理理论与信息系统技术学术会议专辑[C];2000年

相关博士学位论文 前10条

1 车金星;复杂数据的变量选择与预测方法研究[D];西安电子科技大学;2019年

2 初一;若干模型下的变量选择和特征筛选[D];山东大学;2018年

3 王延新;高维模型的变量选择与稀疏正则化[D];武汉大学;2013年

4 李子林;高维基因数据中的统计方法[D];清华大学;2016年

5 唐凯临;变量选择和变换的新方法研究[D];同济大学;2008年

6 秦志敏;我国上市公司财务预警变量选择研究[D];东北财经大学;2012年

7 袁晶;贝叶斯方法在变量选择问题中的应用[D];山东大学;2013年

8 姬永刚;分位数回归中的贝叶斯变量选择[D];东北师范大学;2012年

9 赵军;Expectile回归和最优资产组合中的变量选择问题[D];浙江大学;2017年

10 苏盈盈;基于核方法的非线性系统变量选择及其应用[D];重庆大学;2014年

相关硕士学位论文 前10条

1 叶忠昌;自变量向量多元混合正态分布假设下基于分布加权最小二乘的变量选择[D];云南财经大学;2019年

2 聂明鹏;基于排序差异和算法对光谱变量选择与定性分析的研究[D];温州大学;2019年

3 李丹丹;变量选择方法在复杂群组数据中的研究及应用[D];广西大学;2019年

4 贾易;加法风险模型下关于右删失生存数据的变量选择方法的研究[D];华中师范大学;2019年

5 王萧博;基于调整秩回归的EXP型组变量选择[D];曲阜师范大学;2019年

6 刘超;基于Adaptive Group Bridge的稳健变量选择[D];曲阜师范大学;2019年

7 陆琦;零过多数据基于惩罚回归的变量选择[D];南京师范大学;2019年

8 胡婧;对数Birnbaum-Saunders回归模型的变量选择[D];南京师范大学;2019年

9 何琪琪;带测量误差的可加模型的变量选择[D];厦门大学;2018年

10 胡蓉;基于随机Lasso的Meta分析[D];北京建筑大学;2019年

，

本文编号：2621830