观澜交通数据处理平台

发布时间：2018-05-24 01:28

  本文选题：交通数据 + 数据处理系统　； 参考：《计算机研究与发展》2014年S2期

【摘要】：近些年,城市中在主要路段和路口设置的交通卡口点及高清摄像头的数目呈增长趋势.对于大中型城市来说,这些摄像头将会产生海量包含通行记录和图像在内的数据.现有的基于传统关系数据库的解决方案已经无法有效地管理如此大规模的数据,也无法为数据的离线分析和实时处理提供具有高效及可伸缩性的保障.为了解决这一系列问题,我们开发了观澜交通数据处理平台(观澜平台).该平台可以为交通数据提供分布式、具有良好可伸缩性的处理支持.它集成了Apache Hadoop和S4开源框架,可以同时运行批处理任务和实时处理任务.观澜平台已经在国内某城市的生产环境中成功运行近两年,将会给出平台的架构说明以及在设计和开发过程中的一些收获.
[Abstract]:In recent years, the number of traffic bayonets and HD cameras at major roads and intersections in cities is increasing. For large and medium-sized cities, these cameras will produce vast amounts of data, including traffic records and images. The existing solutions based on traditional relational databases can not effectively manage such a large scale of data, nor can provide an efficient and scalable guarantee for offline analysis and real-time processing of data. In order to solve this series of problems, we have developed the traffic data processing platform of Guanlan (Guanlan platform). The platform can provide distributed traffic data and has good scalable processing support. It integrates Apache Hadoop and S 4 open source frameworks to run both batch and real-time tasks. Guanlan platform has been running successfully for nearly two years in the production environment of a certain city in China. The architecture of the platform and some achievements in the process of design and development will be given.
【作者单位】： 山东大学计算机科学与技术系;济南观澜数据技术有限公司;
【基金】：国家自然科学基金项目(61272092) 山东省自然科学基金项目(ZR2012FZ004) 山东省科技发展计划(2014GGE27178) 国家“九七三”重点基础研究发展计划基金项目(2015CB352500) 山东大学自主创新基金项目(2012ZD012) 泰山学者计划
【分类号】：U495;TP311.13

【共引文献】

相关期刊论文 前10条

1 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期

2 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期

3 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期

4 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期

5 王鹏;黄焱;刘峰;安俊秀;;大数据技术中计算与数据的协作机制[J];成都信息工程学院学报;2014年01期

6 杜政颉;王鹏;黄焱;郎福通;;一种基于Storm编程模型的迭代Topology方案[J];成都信息工程学院学报;2014年01期

7 范飞;黄文明;邓珍荣;;Oozie工作流在Mahout分布式数据挖掘中的应用[J];桂林电子科技大学学报;2014年01期

8 丁玉成;诸葛晴凤;沙行勉;;云计算环境下排序算法的性能分析[J];重庆大学学报;2014年04期

9 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[J];北京邮电大学学报;2014年S1期

10 刘琼;赵荣;孙立坚;;Map/Reduce框架下的粗糙集空间数据挖掘改进算法[J];测绘科学;2014年05期

相关会议论文 前5条

1 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[A];2013年全国通信软件学术会议论文集[C];2013年

2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26届中国控制与决策会议论文集[C];2014年

3 陈佐旗;余柏蒗;吴健平;;基于GPU通用计算的遥感数据处理——以计算地表太阳辐射值为例[A];第十八届中国环境遥感应用技术论坛论文集[C];2014年

4 白永超;付伟;辛阳;;基于Hadoop和Nutch的分布式搜索引擎研究与仿真[A];第十九届全国青年通信学术年会论文集[C];2014年

5 李超越;徐国胜;;Hadoop公平调度算法的改进[A];第十九届全国青年通信学术年会论文集[C];2014年

相关博士学位论文 前10条

1 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

2 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

3 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年

4 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

5 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年

6 孙鹏;动车组维修物联网及其关键技术研究[D];中国铁道科学研究院;2013年

7 肖奎;维基百科大数据的知识挖掘与管理方法研究[D];武汉大学;2013年

8 程兴国;仿生算法的动态反馈机制及其并行化实现方法研究[D];华南理工大学;2013年

9 马冯;数据密集型计算环境下贝叶斯网的学习、推理及应用[D];云南大学;2013年

10 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年

相关硕士学位论文 前10条

1 陈贞;HDFS环境下的访问控制技术研究[D];重庆大学;2013年

2 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年

3 潘吴斌;基于云计算的并行K-means气象数据挖掘研究与应用[D];南京信息工程大学;2013年

4 赵洪昌;云计算下的关联分析和模糊聚类研究[D];南京信息工程大学;2013年

5 汪洋;通信网云计算平台资源调度策略与算法研究[D];南昌大学;2013年

6 吕天然;基于MapReduce的可视化工作流遥感并行处理平台及关键技术研究[D];河南大学;2013年

7 但光祥;云计算环境下混合加密算法研究与实现[D];重庆大学;2013年

8 周涛;基于Hadoop的遥感数字图像处理方法研究[D];东北师范大学;2013年

9 程伟;海量信令并行即时分析系统的研究与设计[D];中国海洋大学;2013年

10 贾玉辉;面向语音交互的云计算系统的研究[D];中国海洋大学;2013年

，

本文编号：1927160