基于Hadoop的海量车载物联网数据处理方法研究

发布时间：2021-06-05 15:02

　　随着物联网时代的来临,越来越多的终端被各行各业开发使用。车载物联网作为未来城市交通的核心,也得到了的发展。汽车作为该网络中的外形主体,其本质为车内安装的车载终端;这些终端充斥在城市的交通之中,作为元节点组成了一个巨大的网络;而这些终端所产生的海量数据如何被有效的利用起来则成为当今车载物联网系统急需解决的核心问题。在这种需求前提下,本文提出使用Hadoop分布式平台来存储海量车载物联网数据,并在其框架下完成对数据的分析统计工作。本文首先从分析车载物联网的基础数据结构出发,提出使用HDFS、HBase、Hive组合的存储方案,解决了车载物联网数据高维度、高并发、部分稀疏的存储问题。在此基础上,又深入探讨了对车载物联网数据的分析和挖掘,提出了使用Hive QL和MapReduce模型两种方法来应对不同规模的数据分析,设计实现了部分数据统计,驾驶员行为分析,以及在A-ECLAT算法下状态量关联规则挖掘等一系列数据分析过程。本文最后,按照提出的框架模型,搭建了整体的Hadoop框架,整合了相关组件,并对一些为提高实际存储,分析性能的参数进行设置。从实验数据结果和实验性能上证明了本文所提出的车载物... 

【文章来源】：哈尔滨工程大学黑龙江省 211工程院校

【文章页数】：69 页

【学位级别】：硕士

【部分图文】：

图２．１?Ｈａｄｏｏｐ组件关系图??

命名等操作，另外还负责建立文件存储块与其所在的ＤａｔａＮｏｄｅ节点之间的关系，并??对针对数据块的创建和复制等操作进行统一调度。而ＤａｔａＮｏｄｅ的主要职责是对文件??与客户端之间的读写请求进行有效的响应。具体的ＨＤＦＳ体系组织结构如图２．２所示。??１１??

点一般情况下都具有ＭａｐＲｅｄｕｃｅ框架和ＨＤＦＳ系统的两种角色，即该节点既做存储也??做运算。在Ｈａｄｏｏｐ平台的协作下，运算任务所需数据会尽量取自本节点。具体执行??流程如图２．３所示。??１５??

【参考文献】：
期刊论文
[1]基于Hadoop的电网监控信息流分布式处理研究[J]. 屈志坚,郭亮,陈阁.  华东交通大学学报. 2013(05)
[2]物联网与云计算的融合[J]. 杨久河.  硅谷. 2013(09)
[3]CAN总线在计算机远程控制中的应用[J]. 邵丙新.  科技创新与应用. 2013(07)
[4]MapReduce并行编程模型研究综述[J]. 李建江,崔健,王聃,严林,黄义双.  电子学报. 2011(11)
[5]大数据分析——RDBMS与MapReduce的竞争与共生[J]. 覃雄派,王会举,杜小勇,王珊.  软件学报. 2012(01)
[6]车联网架构与关键技术研究[J]. 王建强,吴辰文,李晓军.  微计算机信息. 2011(04)
[7]MapReduce:新型的分布式并行计算编程模型[J]. 李成华,张新访,金海,向文.  计算机工程与科学. 2011(03)
[8]车载物联网技术探讨[J]. 俞波,须成忠,过敏意.  中兴通讯技术. 2011(01)
[9]NoSQL非关系型数据库的发展及应用初探[J]. 黄贤立.  福建电脑. 2010(07)
[10]车载移动异构无线网络架构及关键技术[J]. 刘富强,单联海.  中兴通讯技术. 2010(03)

博士论文
[1]CAN协议车载网络若干关键理论研究[D]. 曹万科.东北大学 2008
[2]关联规则的挖掘及其算法的研究[D]. 陆楠.吉林大学 2007

硕士论文
[1]HBase大对象存储方案的设计与实现[D]. 康毅.南京大学 2013
[2]基于Hadoop平台的数据挖掘技术研究[D]. 李伟卫.西北农林科技大学 2013
[3]基于Hadoop的NoSQL数据库安全研究[D]. 蔡平.上海交通大学 2013
[4]NoSQL数据库技术及其应用研究[D]. 沈姝.南京信息工程大学 2012
[5]基于MapReduce的KNN分类算法的研究与实现[D]. 乔鸿欣.北京交通大学 2012
[6]基于HDFS的分布式存储研究与应用[D]. 童明.华中科技大学 2012
[7]基于ZigBee的车载物联网技术应用研究[D]. 付涛.吉林大学 2011
[8]基于HBase的RDF存储系统的研究与设计[D]. 金强.浙江大学 2011
[9]关联规则中ECLAT算法的研究与应用[D]. 耿晓斐.重庆大学 2009
[10]基于Hadoop的海量数据处理模型研究和应用[D]. 朱珠.北京邮电大学 2008



本文编号：3212388