基于物流数据的流预测算法研究与实现

发布时间：2017-06-26 20:20

  本文关键词：基于物流数据的流预测算法研究与实现，由笔耕文化传播整理发布。

【摘要】：随着互联网的快速发展,大数据和互联网、物联网、车联网等相互交融,这也影响着物流行业的发展。物流企业产生的物流大数据范围较广,其中物流交通大数据是重要组成部分。交通大数据的有效处理为物流公司基于时间、成本、路线等车辆调度的应用服务提供了可靠的理论依据和技术支持。实时准确的交通大数据流预测是实现数据有效处理的前提和基础,这也给交通大数据的预测带来了新的问题,值得深入研究。时间序列模型仅需历史时间序列即可对交通流进行有效预测。因此,本文首先分析交通流数据的特征并进行LMD(Local Mean Decomposition)分解,并证明了分解后的流量序列具有短相关特征,提出了一种基于LMD和GARCH(Generalized AutoRegressive Conditional Heteroskedasticity)交通流量时间序列预测算法,预测精度显著高于传统的时间序列模型。但是,时间序列模型只能实现离线预测,为了适用于流数据的预测,本文又提出了一种基于SKmeans和SGD的RBFNN在线预测算法。该算法主要对RBF神经网络进行改进,首先对训练数据进行在线聚类,然后通过改进的SGD算法来训练参数,实验结果表明,该算法的预测精度和训练效率明显高于最近邻聚类在线训练算法,并对交通流量实现了有效的在线预测。随着训练样本的不断增大,虽然RBF改进算法可以实现在线预测,但是时间和空间复杂度急剧增加,不能满足实际的应用需求。因此,本文将采用Storm实时流处理平台,将基于SKmeans和SGD的RBFNN在线预测算法在Storm平台上进行实现。为了实现有效的预测,对该算法并行化实现进行了设计,然后结合垂直并行化和水平化给出了该算法总体实现。最后搭建Storm集群环境,通过实验表明,交通大数据的预测中,集群模式相比于单机模式具有更快的训练速度,加速效果明显。
【关键词】：大数据 流计算 物流数据 预测算法 Storm RBFNN GARCH
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：F259.2;TP183
【目录】：

• 摘要4-5
• Abstract5-8
• 第一章 绪论8-13
• 1.1 课题背景8
• 1.2 国内外研究现状8-11
• 1.2.1 物流数据和交通数据国内外研究现状8-9
• 1.2.2 流计算平台国内外发展现状9-10
• 1.2.3 交通流预测算法国内外研究现状10-11
• 1.3 主要研究内容11
• 1.4 论文结构11-13
• 第二章 物流大数据及相关技术13-22
• 2.1 物流大数据13-15
• 2.1.1 大数据定义13-14
• 2.1.2 交通大数据14
• 2.1.3 交通流及特征14-15
• 2.2 时间序列相关理论15-16
• 2.2.1 时间序列概念15-16
• 2.2.2 时间序列自相似特征16
• 2.3 交通流量预测模型16-20
• 2.3.1 时间序列预测模型17-18
• 2.3.2 RBF神经网络18-19
• 2.3.3 交通流智能预测方法19-20
• 2.4 本章小结20-22
• 第三章 基于LMD和GARCH的交通流量预测算法22-33
• 3.1 交通流量分析和LMD分解22-26
• 3.2 基于LMD和GARCH交通流量预测算法26-28
• 3.2.1 预测算法26-27
• 3.2.2 算法性能分析27-28
• 3.3 仿真实验分析28-32
• 3.3.1 PF分量和余量预测28-31
• 3.3.2 流量合成及实验结果比较31-32
• 3.4 本章小结32-33
• 第四章 RBF神经网络及其Online训练算法改进33-46
• 4.1 RBF神经网络及其存在问题33
• 4.2 基于SKmeans和SGD的改进Online RBFNN算法33-42
• 4.2.1 基于SKmeans在线聚类中心选择34-38
• 4.2.1.1 算法框架设计34-36
• 4.2.1.2 离线层算法36-37
• 4.2.1.3 在线层算法37-38
• 4.2.1.4 算法性能分析38
• 4.2.2 RBFNN参数在线训练算法38-42
• 4.2.2.1 基于SGD的在线训练算法39-41
• 4.2.2.2 基于动态学习系数的SGD改进在线训练算法41-42
• 4.3 仿真实验和算法评估42-45
• 4.4 本章小结45-46
• 第五章 基于Storm Online RBFNN预测算法并行化研究46-61
• 5.1 实时流处理系统Storm46-48
• 5.1.1 Storm基本原理46
• 5.1.2 Storm并行化机制46-47
• 5.1.3 Storm拓扑结构47-48
• 5.2 基于Storm平台的RBF神经网络并行化设计48-53
• 5.2.1 RBF神经网络实现过程48-49
• 5.2.2 任务并行化49-52
• 5.2.2.1 水平并行化51
• 5.2.2.2 垂直并行化51-52
• 5.2.3 RBFNN并行化执行总体设计52-53
• 5.3 基于Storm平台的RBF神经网络预测算法并行化实现53-60
• 5.3.1 SKmeans聚类Storm并行化实现53-56
• 5.3.2 SGD算法Storm并行化实现56-59
• 5.3.3 RBF神经网络预测算法Storm并行化总体实现59-60
• 5.4 本章小结60-61
• 第六章 RBF神经网络在物流大数据预测中的应用61-75
• 6.1 Storm测试环境的搭建61-64
• 6.1.1 硬件环境61
• 6.1.2 软件环境61-62
• 6.1.3 CentOS平台Storm集群搭建62-64
• 6.1.3.1 CentOS6.4 部署Storm单机模式62-63
• 6.1.3.2 CentOS6.4 部署Storm集群模式63-64
• 6.2 实验数据集和评价指标64-66
• 6.2.1 实验数据集64-65
• 6.2.2 数据预处理65-66
• 6.2.3 评价指标66
• 6.3 实验结果分析和比较66-74
• 6.3.1 单机和集群模式下高效性对比分析66-70
• 6.3.2 预测准确性对比分析70-74
• 6.3.2.1 参数影响分析70-72
• 6.3.2.2 单机和集群模式下预测准确性对比分析72-74
• 6.4 本章小结74-75
• 第七章 总结与展望75-77
• 7.1 总结75
• 7.2 工作展望75-77
• 参考文献77-82
• 附录1 攻读硕士学位期间撰写的论文82-83
• 附录2 攻读硕士学位期间申请的专利83-84
• 附录3 攻读硕士学位期间参加的科研项目84-85
• 致谢85

【相似文献】

中国期刊全文数据库 前10条

1 王万良;正交逼近预测算法及其在电脑充绒机中的应用[J];信息与控制;1994年04期

2 李文泽;盛光磊;;一种基于粒子群的实际业务流预测算法[J];微电子学与计算机;2014年01期

3 杨断利;张立梅;籍颖;吕晶;;河北省风能特征及其对风速预测算法的改进[J];科技传播;2013年06期

4 朱斌;樊祥;马东辉;程正东;;窗口大小和权值模板对固定权值背景预测算法的影响[J];红外与激光工程;2006年S4期

5 王祖俪;程小平;;入侵响应中基于事件相关性的攻击预测算法[J];计算机科学;2005年04期

6 徐庆飞;张新;李卫民;;二维空间中目标轨迹预测算法研究与分析[J];航空电子技术;2012年01期

7 杨双懋;郭伟;唐伟;;基于FARIMA-GARCH模型的网络业务预测算法[J];通信学报;2013年03期

8 李楚斐;谭长庚;韩宇;;车辆网络单跳链路断开时间预测算法[J];计算机工程;2012年02期

9 周璇;杨建成;;基于支持向量回归机的空调逐时负荷滚动预测算法[J];中南大学学报(自然科学版);2014年03期

10 孙道清;分数线快速预测系统在普通高校招生工作中的应用[J];微型机与应用;2004年06期

中国重要会议论文全文数据库 前10条

1 朱斌;樊祥;马东辉;程正东;;窗口大小和权值模板对固定权值背景预测算法的影响[A];2006年全国光电技术学术交流会会议文集（D 光电信息处理技术专题）[C];2006年

2 王峰;姬冰辉;李斗;;一种基于混沌理论的自相似业务流预测算法研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（上）[C];2006年

3 钱正祥;徐华;张申浩;;数字信号序列的向量预测算法[A];第三届全国信息获取与处理学术会议论文集[C];2005年

4 郭景峰;代军丽;马鑫;王娟;;针对通信社会网络的时间序列链接预测算法[A];第26届中国数据库学术会议论文集（A辑）[C];2009年

5 张利萍;李宏光;;改进的灰色预测算法在工业应用中的评价[A];第二届全国信息获取与处理学术会议论文集[C];2004年

6 崔冬;;一种改进的LRP信道预测算法[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年

7 王佳;殷海兵;周冰倩;;一种适合硬件实现的低复杂度MAD预测算法[A];浙江省电子学会2011学术年会论文集[C];2011年

8 郑铭浩;刘志红;巫瑞波;徐峻;;P450各亚型代谢调控剂预测算法[A];中国化学会第28届学术年会第14分会场摘要集[C];2012年

9 张晓丹;王萍;;一种基于特征的H.264的子块快速帧内预测算法[A];第七届和谐人机环境联合学术会议（HHME2011)论文集【oral】[C];2011年

10 刘志红;郑铭浩;严鑫;巫瑞波;徐峻;;基于结构的化合物稳定性预测算法[A];中国化学会第28届学术年会第14分会场摘要集[C];2012年

中国博士学位论文全文数据库 前2条

1 马玉韬;基于滤波理论和特征统计的蛋白质编码区预测算法研究[D];天津大学;2013年

2 玄萍;MicroRNA识别及其与疾病关联的预测算法研究[D];哈尔滨工业大学;2012年

中国硕士学位论文全文数据库 前10条

1 闫青;基于预测算法的快速多尺度金字塔时空特征点计算算法研究[D];青岛科技大学;2016年

2 钱吕见;复杂网络中基于角色传递性和对称性的链接预测算法研究[D];兰州大学;2016年

3 李小科;无模型自适应预测算法及其在非线性过程控制中的应用[D];兰州大学;2016年

4 周攀;基于姿态传感器的人体步态预测算法设计与实现[D];西南交通大学;2016年

5 周真争;基于社团综合属性的链路预测算法研究[D];南京信息工程大学;2016年

6 任程;DSP+FPGA平台功耗管理的研究与实现[D];哈尔滨工业大学;2016年

7 陈威;在线社会媒体的流行性预测研究[D];电子科技大学;2016年

8 戴维夫;卫星在轨状态异变的演变趋势分析与预测算法研究[D];电子科技大学;2016年

9 吕仁俊;LBSN中基于行为分析的用户位置预测[D];东南大学;2015年

10 孙延;混合结构机会网络链路预测技术研究[D];东南大学;2015年

  本文关键词：基于物流数据的流预测算法研究与实现，由笔耕文化传播整理发布。

，

本文编号：487510