基于Storm的在线序列极限学习机的气象预测模型
本文关键词: Storm 极限学习机 气象预测 在线序列 机器学习 出处:《计算机研究与发展》2017年08期 论文类型:期刊论文
【摘要】:为提高气象预测精度,实时应对频发的局域气象灾害,拥有更高的处理海量数据的效率,提出了一种基于Storm的在线序列的极限学习机气象预测模型.该模型首先初始化多个在线极限学习机,当新批次的数据不断到达时,模型能够在训练结果的基础上继续学习新样本,并引入随机梯度下降法和误差权值调整方法,对新的预测结果进行误差反馈,实时更新误差权值参数,以提高模型预测准确率.另外,采用Storm流式处理框架对提出的算法模型进行并行化改进,以提高处理海量高维数据的能力.实验结果表明:该模型与基于Hadoop的并行极限学习机算法(parallel extreme learning machine,PELM)相比,具有更高的预测精度和优异的并行性能.
[Abstract]:In order to improve the precision of meteorological prediction and to deal with frequent local meteorological disasters in real time, it has higher efficiency of processing massive data. In this paper, a meteorological prediction model of extreme learning machine based on Storm is proposed. The model initializes several online extreme learning machines, and when the data of new batch arrive continuously, The model can continue to study new samples on the basis of the training results and introduce the stochastic gradient descent method and error weight adjustment method to carry out error feedback on the new prediction results and update the error weight parameters in real time. In order to improve the accuracy of model prediction, the proposed algorithm model is parallelized by using Storm flow processing framework. The experimental results show that the proposed model has higher prediction accuracy and better parallel performance than parallel extreme learning machine (PELM), a parallel extreme learning machine algorithm based on Hadoop.
【作者单位】: 湘潭大学信息工程学院;智能计算与信息处理教育部重点实验室(湘潭大学);
【基金】:国家自然科学基金项目(61672495) 湖南省教育厅重点项目(16A208)~~
【分类号】:P45;TP181
【参考文献】
相关期刊论文 前3条
1 姜文瑞;王玉英;郝小琪;李富鹏;;决策树方法在气温预测中的应用[J];计算机应用与软件;2012年08期
2 王爱平;万国伟;程志全;李思昆;;支持在线学习的增量式极端随机森林分类器[J];软件学报;2011年09期
3 金龙,金健,姚才;A Short-Term Climate Prediction Model Based on a Modular Fuzzy Neural Network[J];Advances in Atmospheric Sciences;2005年03期
相关博士学位论文 前1条
1 赵强利;基于选择性集成的在线机器学习关键技术研究[D];国防科学技术大学;2010年
【共引文献】
相关期刊论文 前10条
1 杨妮亚;彭涛;刘露;;基于聚类和决策树的链路预测方法[J];计算机研究与发展;2017年08期
2 刘思;刘海;陈启买;贺超波;;基于网络表示学习与随机游走的链路预测算法[J];计算机应用;2017年08期
3 盛权为;汪一百;高阳;;一种改进的异构链路协同预测算法研究[J];计算机工程与应用;2017年15期
4 赵德伟;高江锦;徐正巧;;基于链路预测的个性化网络推荐系统研究[J];福建电脑;2017年07期
5 何军;刘业政;;基于多维社交关系的在线社交网络链路预测研究[J];现代情报;2017年07期
6 高杨;张燕平;钱付兰;赵姝;;结合节点度和节点聚类系数的链路预测算法[J];小型微型计算机系统;2017年07期
7 刘竟;孙薇;;基于链路预测的潜在科研合作关系发现研究[J];情报理论与实践;2017年07期
8 张金柱;胡一鸣;;利用链路预测揭示合著网络演化机制[J];情报科学;2017年07期
9 赵晓婧;刘子嘉;;基于三阶路径的链路预测新指标[J];晋中学院学报;2017年03期
10 闵波;张莉;杨帆;雷权;张云宏;;联系强弱对生物医学文献知识发现的影响[J];医学信息学杂志;2017年05期
【二级参考文献】
相关期刊论文 前10条
1 马廷淮;穆强;田伟;李德泉;;气象数据挖掘研究[J];武汉理工大学学报;2010年16期
2 李建东;;数据仓库技术在气象领域的应用前景分析[J];气象与环境科学;2009年S1期
3 孔颖;裘彬强;徐从富;;基于CART算法的垃圾邮件过滤模型设计与实现[J];计算机应用;2009年02期
4 严小冬;吴战平;马振锋;古书鸿;严华生;;Downscaling法在贵州冬季气温和降水预测中的应用[J];高原气象;2008年01期
5 巩固;张虹;;决策树算法在天气评估中的应用[J];微计算机信息;2007年34期
6 王涛;李舟军;胡小华;颜跃进;陈火旺;;一种高效的数据流挖掘增量模糊决策树分类算法[J];计算机学报;2007年08期
7 骆盈盈;王柯玲;陈川;毛云芳;;结合递增式学习的CART算法改进[J];计算机工程与设计;2007年07期
8 周慧,朱彬,陈万隆,朱国强,黄赛群;动态学习率神经网络预测气温的尝试[J];南京气象学院学报;2005年03期
9 陈宝学,俞经善,关宏伟;数据挖掘技术应用于天气预报的可行性研究[J];应用科技;2004年03期
10 萧嵘 ,王继成 ,孙正兴 ,张福炎;一种SVM增量学习算法α-ISVM[J];软件学报;2001年12期
【相似文献】
相关期刊论文 前10条
1 ;Characteristics and sources of 2002 super dust storm in Beijing[J];Chinese Science Bulletin;2004年07期
2 ;Formation of the storm-time ring current[J];Chinese Science Bulletin;2004年07期
3 ;Mineralogical characteristics of airborne particles collected in Beijing during a severe Asian dust storm period in spring 2002[J];Science in China(Series D:Earth Sciences);2007年06期
4 ;Numerical modelling of storm surges in the Beibu Gulf with SCM [J];Acta Oceanologica Sinica;1994年04期
5 王为;Beach rocks and storm deposits on the beaches of Hong Kong[J];Science in China(Series D:Earth Sciences);1998年04期
6 ;The compositions,sources,and size distribution of the dust storm from China in spring of 2000 and its impact on the global environment[J];Chinese Science Bulletin;2001年11期
7 张仁健;韩志伟;沈振兴;曹军骥;;Continuous Measurement of Number Concentrations and Elemental Composition of Aerosol Particles for a Dust Storm Event in Beijing[J];Advances in Atmospheric Sciences;2008年01期
8 ;Global ionospheric TEC response to a strong magnetic storm[J];Science in China(Series E:Technological Sciences);2008年10期
9 ;An analysis of interplanetary sources of geomagnetic storm during November 7-8, 1998[J];Chinese Science Bulletin;2010年09期
10 ZHENG XiaoJing;ZHANG JingHong;WANG GuoHua;LIU HongYou;ZHU Wei;;Investigation on very large scale motions(VLSMs) and their influence in a dust storm[J];Science China(Physics,Mechanics & Astronomy);2013年02期
相关会议论文 前10条
1 ;Modeling investigation of ionospheric storm effects over Millstone Hill during August 4-5,1992[A];中国科学院地质与地球物理研究所二○○四学术论文汇编·第四卷(新生代·地磁与空间电磁·工程地质与应用地球物理)[C];2004年
2 ;Evolution of a positive ionospheric storm observed by GPS network and incoherent scatter radar[A];第十二届全国日地空间物理学术讨论会论文摘要集[C];2007年
3 X.D.Zhao;A.M.Du;W.Y.Xu;;The magnetic local time distribution of ring current during the geomagnetic storm[A];中国科学院地质与地球物理研究所2013年度(第13届)学术论文汇编——地磁与空间物理研究室[C];2014年
4 ;Modeling the behavior of ionosphere above Millstone Hill during the September 21-27,1998 storm[A];中国科学院地质与地球物理研究所二○○四学术论文汇编·第四卷(新生代·地磁与空间电磁·工程地质与应用地球物理)[C];2004年
5 ;Ground magnetic characteristics of the storm-time ring current Asymmetry[A];中国科学院地质与地球物理研究所2008学术论文汇编[C];2009年
6 Ali Mamtimin;;Sand flux estimation during a sand-dust storm at Tazhong area of Taklimakan Desert,China[A];第28届中国气象学会年会——S14气候环境变化与人体健康[C];2011年
7 ;Real time numerical modeling system of dust storm in north China and its validations[A];大气气溶胶科学技术研究进展——第八届全国气溶胶会议暨第二届海峡两岸气溶胶科技研讨会文集[C];2005年
8 Yun Gong;Qihou Zhou;Shaodong Zhang;Nestor Aponte;Michael Sulzer;Sixto Gonzalez;;The F-region and topside ionosphere response to a strong geomagnetic storm at Arecibo[A];中国空间科学学会空间物理学专业委员会第十五届全国日地空间物理学研讨会摘要集[C];2013年
9 B.Zhao;W.Wan;J.Lei;Y.Wei;Y.Sahai;B.Reinisch;;Positive ionospheric storm effects at Latin America longitude during the superstorm of 20-22 November 2003:revisit[A];中国科学院地质与地球物理研究所2012年度(第12届)学术论文汇编——地磁与空间物理研究室[C];2013年
10 丁锋;;Large-scale traveling ionospheric disturbances observed by GPS total electron content during the magnetic storm of 29-30 October 2003[A];中国科学院地质与地球物理研究所2007学术论文汇编(第一卷)[C];2008年
相关硕士学位论文 前8条
1 张慧;基于storm新闻推荐系统的研究与实现[D];华南理工大学;2015年
2 李劲松;一种基于Storm的分布式实时增量计算框架的研究与实现[D];电子科技大学;2015年
3 司徒少帅;基于Storm的交通信息实时处理系统的设计与实现[D];中山大学;2015年
4 曾文静;Storm在电力大数据分析平台中的研究与应用[D];华北电力大学(北京);2016年
5 刘召羽;基于Storm的实时营销监控与反欺诈平台设计与实现[D];东华大学;2016年
6 潘林;基于storm的支持向量机在物流航运指数预测中的原型系统的研究与实现[D];南京邮电大学;2016年
7 谈杰;基于storm的实时物流数据查询系统设计与实现[D];南京邮电大学;2016年
8 黄馥浩;基于Storm的微博互动平台的设计与实现[D];中山大学;2013年
,本文编号:1511919
本文链接:https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/1511919.html