基于Storm的海量交通数据实时处理平台的研究

发布时间：2017-12-12 12:39

  本文关键词：基于Storm的海量交通数据实时处理平台的研究

  更多相关文章： 智能交通 实时计算 分配调度机制 套牌车 Storm

【摘要】：交通数据实时处理是当前智能交通系统中的一个热点研究问题,通过对不同设备采集的海量交通数据进行准确、高效的实时计算能够为各类交通管理业务和交通信息服务提供有效的支撑,帮助解决交通拥堵等诸多交通管理问题。交通数据实时处理具有数据连续、计算时延短、计算不间断、多类型数据混合等特点。本文以实验室承担的某大型城市车辆缉查防控系统中基于车牌识别数据流的违章车辆实时甄别处理为背景,提出了一套海量交通数据实时处理方法,设计了基于Storm的海量交通数据实时处理平台,并针对Storm原始调度存在的负载倾斜问题重点研究了面向交通实时处理作业的调度技术。论文的主要工作包括:1)基于对交通数据特征的分析,提出了一套海量交通数据实时处理方法,界定了数据接入、数据组织、数据计算、结果输出等海量交通数据实时处理关键步骤的内容,并结合现有流式计算模型对上述步骤涉及的数据接受预处理、多类型的数据接入、数据在节点中的索引结构、数据在节点间的组织方式以及数据输出接口等关键技术进行了分析和描述。2)对海量交通数据实时处理中的任务调度问题进行了深入研究。为提高交通数据实时处理的性能,解决Storm默认调度策略存在的调度方式单一、节点之间负载不均衡等问题,提出一种基于固定节点直接分配的FNS调度策略和一种基于负载均衡的LBS调度策略,并实现了与之对应的任务调度器,实验表明基于FNS算法的调度器能够将一些运算简单的交通作业固定分配在一个单一工作节点上,基于LBS算法的调度器每次能从资源数最多的节点开始任务分配。3)设计并实现一个基于Storm的海量交通数据实时处理平台。基于该平台,实现了套牌车辆甄别等违章车辆自动甄别应用中的实时计算算法,并利用真实交通数据集模拟实时交通流数据进行了实验和评估,验证了交通数据实时计算的实时性和准确性。
【学位授予单位】：北方工业大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：U495;TP311.13

【参考文献】

中国期刊全文数据库 前9条

1 李悦;刘晨;;基于历史车牌识别数据的套牌车并行检测方法[J];计算机应用;2016年03期

2 刘道群;;信息技术在新一代智能交通中的应用探讨[J];计算机科学;2014年S2期

3 孙大为;张广艳;郑纬民;;大数据流式计算:关键技术及系统实例[J];软件学报;2014年04期

4 廖飞;黄晟;龚德俊;安乐;;基于Hadoop的城市道路交通流量数据分布式存储与挖掘分析研究[J];公路与汽运;2013年05期

5 亓开元;赵卓峰;房俊;马强;;针对高速数据流的大规模数据实时处理方法[J];计算机学报;2012年03期

6 覃雄派;王会举;杜小勇;王珊;;大数据分析——RDBMS与MapReduce的竞争与共生[J];软件学报;2012年01期

7 刘学静;李崇;郝飞;赵谦益;;含光学隐码的汽车牌照防套牌技术研究[J];大连理工大学学报;2011年S1期

8 王秋平;王中芳;赵硕;;动态交通流分配模型[J];长安大学学报(自然科学版);2011年02期

9 撒元功,徐建闽,贺敬凯;高速公路动态交通流的模型与仿真研究[J];交通与计算机;2002年03期

，

本文编号：1282550