在线核极限学习机的改进与应用研究

发布时间：2017-04-11 13:06

  本文关键词：在线核极限学习机的改进与应用研究，由笔耕文化传播整理发布。

【摘要】：时间序列数据是一种广泛存在的数据形式,来源于各种实际应用中。通过对时间序列数据的挖掘,可以为政府及企业制定决策规划提供可靠的依据,具有重要的现实意义。极限学习机(Extreme Learning Machine,ELM)算法是近几年出现的一种新颖的机器学习算法,与传统的机器学习算法相比,具有结构简单,学习速度快以及良好的全局寻优能力,在复杂系统建模、实时在线预测、大规模样本学习等问题中表现出巨大潜力。本文在Reduced Kernel ELM(RKELM)算法及在线极限学习机(Online Sequential ELM,OS-ELM)算法的基础上,提出一种在线核极限学习机(OS-KELM)算法,并就OS-KELM算法中的相关问题提出改进,同时根据时间序列数据的时效性特征,设计并实现了一种自适应集成在线核极限学习机(Adaptive Ensemble OS-KELM,AEOS-KELM)算法用于时间序列数据的在线预测。论文的主要工作有以下几个方面:首先,本文介绍了极限学习机模型的概念、理论基础、算法原理及国内外研究现状,然后按照极限学习机的演化方向将其分为结构增长型极限学习机、结构递减型极限学习机、正则化极限学习机、在线极限学习机及核极限学习机共五类,并分别就每一类极限学习机模型给出几种典型的训练算法,并分析其优缺点为后续研究提供借鉴意义。其次,本文在RKELM算法及在线极限学习机(OS-ELM)算法的基础上,提出一种在线核极限学习机(OS-KELM)算法,同时,本文将时间序列数据具有时效性的特征引入到在线核极限学习机的训练中,通过引入惩罚权重来区分不同时刻数据对于预测的贡献,对最新的历史数据赋予较高的权重。但是,考虑最新的历史数据可能是噪音数据,因此,惩罚权重的设定不应该是固定,而是应该根据当前数据的特征自适应的改变,对此本文引入了惩罚权重的计算公式,该公式根据t时刻与t+1时刻数据的均值与方差自适应的改变惩罚权重,能够有效的避免此类误差的发生。另外,由于在线核极限学习机算法的预测准确率受核函数中参数的影响,本文根据果蝇算法(Fruit Fly Optimization Algorithm,FOA)原理及在线核极限学习机的特点提出改进的果蝇算法用于优化在线核极限学习机;然后,由于在线核极限学习机是从训练数据中以一定比例抽取部分数据用于核矩阵的运算,这就影响了在线核极限学习机的泛化能力,因此本文提出了自适应集成的在线核极限学习机,通过选择泛化能力好,预测精度高的在线核极限学习机用于算法的集成预测以提高算法的稳定性。最后,本文运用Matlab 2009b实验平台,编程实现了AE-OSKELM算法,并就仿真数据、UCI数据集及真实股价数据与经典的机器学习算法,如BPNN、LS-SVM及ELM等算法在时间复杂度和预测准确性方面作对比以验证本文算法的有效性。另外,在做对比实验之前,本文通过大量实验研究了各算法参数的设置,如BPNN、ELM和OSELM算法隐含层节点数的设置以及AE-OSKELM算法中核样本比例的大小与时间复杂度及预测准确性的关系等。最后,通过实验对比发现本文提出的算法具有较好的抗噪能力,能够很好的拟合仿真数据、UCI数据集及真实股价数据的预测曲线,在相同的时间复杂度情况下具有最小的预测误差。通过本文的研究,一方面是对极限学习机理论的总结和完善,通过对极限学习机理论及其发展的归纳总结为后续研究提供借鉴,同时,本文提出了AE-OSKELM算法丰富了极限学习机的理论研究;另一方面,将在线核极限学习机与时间序列预测相结合,并通过大量实验验证了AE-OSKELM算法的有效性,为股票价格及其他时间序列数据的挖掘提供一种较好的预测方法。
【关键词】：核极限学习机 时间序列预测 机器学习 选择性集成
【学位授予单位】：安徽财经大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：O211.61;TP181
【目录】：

• 摘要4-6
• abstract6-10
• 1 绪论10-19
• 1.1 研究背景10
• 1.2 研究意义与目的10-12
• 1.2.1 研究意义10-11
• 1.2.2 研究目的11-12
• 1.3 极限学习机理论12-17
• 1.3.1 单隐含层前馈神经网络（SLFN）模型12-14
• 1.3.2 极限学习机原理14-15
• 1.3.3 极限学习机研究现状15-17
• 1.4 本文创新点及组织结构17-18
• 1.4.1 文章创新点17-18
• 1.4.2 组织结构18
• 1.5 本章小结18-19
• 2 ELM理论及其发展19-32
• 2.1 结构增长型ELM算法19-22
• 2.1.1 I-ELM（Incremental ELM）算法19-20
• 2.1.2 CI-ELM（Convex Incremental ELM）算法20-21
• 2.1.3 EM-ELM（Error Minimized ELM）算法21-22
• 2.2 结构递减型ELM算法22-24
• 2.2.1 P-ELM（Pruned ELM）算法22-23
• 2.2.2 OP-ELM （Optimally-Pruned ELM）算法23-24
• 2.3 正则化极限学习机24-26
• 2.3.1 RELM（Regularized ELM）算法24-25
• 2.3.2 TROP-ELM（LARS and Tikhonov Regularized ELM）算法25-26
• 2.4 在线极限学习机26-28
• 2.4.1 OS-ELM（Online Sequential ELM）算法26-27
• 2.4.2 FOS-ELM（Forgetting OS-ELM）算法27-28
• 2.5 核极限学习机28-31
• 2.5.1 KELM（Kernel ELM）算法28-29
• 2.5.2 NKELM（Nystrom Kernel ELM）算法29-30
• 2.5.3 RKELM（Reduced Kernel ELM）算法30-31
• 2.6 本章小结31-32
• 3 引入时效机制的在线核极限学习机的优化与集成32-46
• 3.1 引入时效机制的在线核极限学习机32-36
• 3.1.1 在线核极限学习机原理32-33
• 3.1.2 时间序列概念及其时效性特征33-34
• 3.1.3 引入时效性的在线核极限学习机34-36
• 3.2 果蝇算法优化在线核极限学习机模型36-42
• 3.2.1 果蝇算法原理36-38
• 3.2.2 果蝇算法参数设置及改进38-39
• 3.2.3 改进果蝇算法优化在线核极限学习机模型39-42
• 3.3 自适应集成在线核极限学习机42-45
• 3.3.1 集成权重的自适应调整42-43
• 3.3.2 模型的选择性集成43-45
• 3.4 本章小结45-46
• 4 AE-OSKELM算法的仿真实验与应用46-61
• 4.1 实验环境与配置46
• 4.2 仿真实验46-53
• 4.2.1 仿真数据的生成47
• 4.2.2 算法参数的设置47-50
• 4.2.3 实验与评估50-53
• 4.3 UCI数据集测试53-57
• 4.3.1 数据来源及预处理53-54
• 4.3.2 实验评估54-57
• 4.4 股价预测应用57-60
• 4.4.1 数据来源及预处理57
• 4.4.2 实验评估57-60
• 4.5 本章小结60-61
• 5 总结与展望61-64
• 5.1 工作总结61-62
• 5.2 不足与展望62-64
• 参考文献64-69
• 附录69-71
• 攻读硕士学位期间科研成果71-72
• 致谢72

【相似文献】

中国期刊全文数据库 前10条

1 施久玉,杜金观;有限个状态时间序列的某些结果[J];应用数学学报;1990年01期

2 冯希杰;长江三峡及其邻区断裂活动时间序列[J];华南地震;1991年02期

3 王霞,郭嗣琮,刘淑娟;时间序列模糊滑动预测[J];辽宁工程技术大学学报(自然科学版);1999年03期

4 温品人;时间序列预测法的实际应用分析[J];江苏广播电视大学学报;2001年06期

5 许清海;混沌投资时间序列的嬗变[J];漳州师范学院学报(自然科学版);2003年01期

6 程毛林;时间序列系统建模预测的一种新方法[J];数学的实践与认识;2004年08期

7 高洁;长记忆时间序列适应性预测的应用[J];江南大学学报;2004年05期

8 高洁;孙立新;;长记忆时间序列的适应性预测误差的谱密度[J];统计与决策;2006年13期

9 杨钟瑾;;浅谈时间序列的分析预测[J];中国科技信息;2006年14期

10 李健;孙广中;许胤龙;;基于时间序列的预测模型应用与异常检测[J];计算机辅助工程;2006年02期

中国重要会议论文全文数据库 前10条

1 周家斌;张海福;杨桂英;;多维多步时间序列预报方法及其应用[A];中国现场统计研究会第九届学术年会论文集[C];1999年

2 马培蓓;纪军;;基于时间序列的航空备件消耗预测[A];中国系统工程学会决策科学专业委员会第六届学术年会论文集[C];2005年

3 卢世坤;李夕海;牛超;陈蛟;;时间序列的非线性非平稳特性研究综述[A];国家安全地球物理丛书（八）——遥感地球物理与国家安全[C];2012年

4 李强;;基于线性模型方法对时间序列中异常值的检测及证券实证分析[A];加入WTO和中国科技与可持续发展——挑战与机遇、责任和对策（上册）[C];2002年

5 戴丽金;何振峰;;基于云模型的时间序列相似性度量方法[A];第八届中国不确定系统年会论文集[C];2010年

6 谢美萍;赵希人;庄秀龙;;多维非线性时间序列的投影寻踪学习逼近[A];'99系统仿真技术及其应用学术交流会论文集[C];1999年

7 张大斌;李红燕;刘肖;张文生;;非线性时问序列的小波-模糊神经网络集成预测方法[A];第十五届中国管理科学学术年会论文集（下）[C];2013年

8 黄云贵;;基于时间序列的电网固定资产投资规模研究[A];2012年云南电力技术论坛论文集（文摘部分）[C];2012年

9 李松臣;张世英;;时间序列高阶矩持续和协同持续性研究[A];21世纪数量经济学（第8卷）[C];2007年

10 陈赫;罗声求;;历史横断面数据的时间序列化[A];科学决策与系统工程——中国系统工程学会第六次年会论文集[C];1990年

中国重要报纸全文数据库 前6条

1 ;《时间序列与金融数据分析》[N];中国信息报;2004年

2 何德旭 王朝阳;时间序列计量经济学：协整与有条件的异方差自回归[N];中国社会科学院院报;2003年

3 刘俏;让数据坦白真相[N];21世纪经济报道;2003年

4 西南证券高级研究员 董先安邋德圣基金研究中心 郭奔宇;预计6月CPI同比上涨7.2%[N];证券时报;2008年

5 东证期货 王爱华　杨卫东;两年涨跌轮回 秋季普遍下跌[N];期货日报;2009年

6 任勇邋郑重;中国对世界钢材价格的影响实证分析[N];现代物流报;2007年

中国博士学位论文全文数据库 前10条

1 张墨谦;遥感时间序列数据的特征挖掘：在生态学中的应用[D];复旦大学;2014年

2 张德成;滑坡预测预报研究[D];昆明理工大学;2015年

3 苗圣法;时间序列的模式检测[D];兰州大学;2015年

4 翁同峰;时间序列与复杂网络之间等价性问题及表征应用研究[D];哈尔滨工业大学;2015年

5 杨婷婷;用Argo浮标结合卫星观测估算北太平洋经向热输运[D];中国科学院研究生院(海洋研究所);2015年

6 王晓晔;时间序列数据挖掘中相似性和趋势预测的研究[D];天津大学;2003年

7 李桂玲;时间序列的分割及不一致发现研究[D];华中科技大学;2012年

8 周勇;时间序列时序关联规则挖掘研究[D];西南财经大学;2008年

9 张勇;时间序列模式匹配技术研究[D];华中科技大学;2012年

10 董晓莉;时间序列数据挖掘相似性度量和周期模式挖掘研究[D];天津大学;2007年

中国硕士学位论文全文数据库 前10条

1 陈健;基于多变量相空间重构的投资组合策略研究[D];华南理工大学;2015年

2 兰鑫;时间序列的复杂网络转换策略研究[D];西南大学;2015年

3 米晓将;区域尺度下月均气温的时空演化格局研究[D];昆明理工大学;2015年

4 张鸣敏;基于支持向量回归的PM_(2.5)浓度预测研究[D];南京信息工程大学;2015年

5 林健;基于改进小世界回声状态网的时间序列预测[D];渤海大学;2015年

6 曹智丽;日气温和干旱指数支持向量回归预测方法[D];南京信息工程大学;2015年

7 高雄飞;基于分形理论的土壤含水量时间序列特性分析[D];长安大学;2015年

8 姚茜;城市安全生产发展目标研究[D];中国地质大学(北京);2015年

9 谢翠颖;苏州社会消费品零售总额简析[D];苏州大学;2015年

10 包仁义;基于时间序列的搜索引擎评估模型算法研究[D];东北师范大学;2015年

  本文关键词：在线核极限学习机的改进与应用研究，由笔耕文化传播整理发布。

，

本文编号：299150