基于Hadoop分布式计算平台的车辆监控系统数据的分析与应用
本文选题：Hadoop分布式平台 + 车辆监控系统 ； 参考：《北京邮电大学》2016年硕士论文
【摘要】：随着科技的进步和经济的发展,汽车行业也得到了快速发展。伴随着汽车保有量的持续增加,诸如交通拥堵、交通事故频发等众多问题也显现出来,给人们的生活带来许多负面影响。智能交通系统应运而生,其利用互联网技术致力于解决由于汽车数量急速增加带来的各类交通问题。车辆监控系统作为其核心组成部分负责实时记录所监控车辆的各项数据,并且积累了海量的车辆监控数据。目前大部分车辆监控数据并没有得到二次分析利用,本文拟提出一个完整的数据分析方案来充分利用这些历史数据,发掘其潜在价值。根据原始车辆监控系统的数据特点及相关数据分析处理技术的研究,论文采用基于Hadoop分布式计算平台,应用其子项目 Hive和Pig作为数据分析工具的方式,充分利用Hadoop的分布式并行处理能力完成基于Hadoop分布式计算平台的车辆监控系统数据的分析与应用。本文首先完成了车辆监控平台的设计,对企业车辆的多项指标进行实时监控并为后续研究积累源数据。随后根据车辆监控数据的特点设计基于Hive数据仓库的数据分析方式,包括主题、逻辑模型、多维度分析、粒度选择及元数据的设计等。同时完成基于Pig平台实现的灵活性更高,开发成本更小的低复杂度、低执行延迟的数据分析方式的设计,作为基于Hive分析方式的补充,完善基于Hadoop分布式计算平台的车辆监控系统数据的分析与应用。最后通过搭建测试平台对实际数据进行分析处理,验证其在分析处理海量车辆监控系统数据方面的性能优势,并且能够为企业、政府等相关用户提供交通管理方面的决策支持。
[Abstract]:With the development of science and technology and the development of economy , the auto industry has also got the rapid development . With the continuous increase of the quantity of automobile , many problems such as traffic jam and frequent traffic accidents are put forward . The data analysis method based on the Hadoop distributed computing platform is designed based on Hadoop distributed computing platform . The data analysis method based on the Hadoop distributed computing platform is used to analyze and apply the data of vehicle monitoring system based on Hadoop distributed computing platform .
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13;TP277
【参考文献】
相关期刊论文 前10条
1 崔文斌;牟少敏;王云诚;浩庆波;昌腾腾;;Hadoop大数据平台的搭建与测试[J];山东农业大学学报(自然科学版);2013年04期
2 谭洁清;毛锡军;;Hadoop云计算基础架构的搭建和hbase和hive的整合应用[J];贵州科学;2013年05期
3 陈吉荣;乐嘉锦;;基于Hadoop生态系统的大数据解决方案综述[J];计算机工程与科学;2013年10期
4 王彦明;奉国和;薛云;;近年来Hadoop国外研究综述[J];计算机系统应用;2013年06期
5 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期
6 刘博元;范文慧;肖田元;;决策支持系统研究现状分析[J];系统仿真学报;2011年S1期
7 张华强;;关系型数据库与NoSQL数据库[J];电脑知识与技术;2011年20期
8 许春玲;张广泉;;分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析[J];苏州大学学报(工科版);2010年04期
9 胡黎玮;;基于Pig Latin语言的海量数据分析[J];数字技术与应用;2010年05期
10 王立伟;;数据挖掘研究现状综述[J];图书与情报;2008年05期
相关硕士学位论文 前10条
1 唐榕蔚;基于HIVE电子商务多维分析技术应用研究[D];北方工业大学;2015年
2 王翔;基于Hadoop的电信运营商海量数据处理方法的研究与应用[D];南京邮电大学;2014年
3 鲍骏;基于北斗定位的车辆监控系统的研究[D];南京理工大学;2014年
4 秦玉兰;基于HIVE的海量数据报表服务系统的设计与实现[D];北京邮电大学;2014年
5 黄佳;并行ETL工具可扩展技术的研究和开发[D];北京邮电大学;2014年
6 曹英;大数据环境下Hadoop性能优化的研究[D];大连海事大学;2013年
7 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年
8 曹芳芳;基于海量数据的实时查询处理[D];武汉理工大学;2013年
9 王永洲;基于HDFS的存储技术的研究[D];南京邮电大学;2013年
10 尹立松;基于MapReduce和编程方式的ETL框架研究与应用[D];东华大学;2013年
，本文编号：1884686
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/1884686.html
