基于Hadoop的公交物联网海量采集数据的存储平台设计

发布时间：2017-07-18 11:29

  本文关键词：基于Hadoop的公交物联网海量采集数据的存储平台设计

  更多相关文章： 公交物联网 Hadoop 海量日志存储 分布式视频转码

【摘要】：随着公共交通和物联网技术的不断发展,各类车载信息采集设备所产生的数据量也逐年增长,传统数据存储方式已经难以支持日益增长的采集数据存储需求。所以如何利用工具将这些数据进行高效的存储和管理是急需解决的问题。在公交系统各类采集数据信息中,两种典型且重要的海量存储数据一个是GPS日志数据,另一个是视频数据。GPS日志数据用于分析公交调度和公交线路优化,需要实现对日志数据的分布式压缩存储并且支持以时间和空间范围为条件的高效查询操作;公交监控视频数据具有来源复杂,格式混乱的特点,为了实现监控视频数据的统一管理存储,需要对视频文件进行分布式转码,然后压缩存储。基于以上存储需求,本文提出使用Hadoop实现公交物联网海量采集数据存储,通过Hadoop的HDFS分布式数据存储系统和MapReduce分布式计算技术,解决公交物联网采集数据的高效存储和管理问题。本文研究Hadoop的技术架构特点,并分析总结了公交物联网系统GPS日志和视频数据的采集、处理和存储特点,设计基于Hadoop的公交物联网海量采集数据的分布式存储方案。根据GPS日志数据的分布式压缩存储和以时间、空间为条件的高效查询需求,设计实现了基于Hadoop的GPS日志数据存储管理系统。该系统根据时间和GPS位置信息对日志数据实行时间-空间分层划分,并根据节点性能动态选择数据存储节点,然后压缩存储于HDFS。最后通过实验数据证明该系统在优化存储效率的同时支持更高效的数据查询,能有效的提高日志文件的写入和存储效率。针对车载监控视频存储空间占用大和视频格式复杂多样的问题,设计并实现了基于Hadoop的分布式视频存储转码系统。该系统采用MapReduce和FFMPEG相结合的视频处理技术实现视频文件的分布式转码;利用LZO压缩技术实现对视频文件的高压缩存储。最终实验结果证实该视频存储系统可以极大地提高转码效率,适合处理和存储公交物联网视频采集数据。
【关键词】：公交物联网 Hadoop 海量日志存储 分布式视频转码
【学位授予单位】：北京工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：U495;TP391.44;TN929.5
【目录】：

• 摘要4-5
• Abstract5-10
• 第1章 绪论10-16
• 1.1 研究背景10-11
• 1.2 国内外研究现状11-14
• 1.2.1 大数据应用于智能公交技术的国内外研究现状11-12
• 1.2.2 Hadoop的国内外研究现状12-14
• 1.3 论文内容和组织结构14
• 1.4 课题来源14-16
• 第2章 Hadoop海量数据处理技术16-22
• 2.1 Hadoop关键技术16-20
• 2.1.1 HDFS分布式数据存储技术16-18
• 2.1.2 MapReduce分布式处理技术18-20
• 2.2 基于Hadoop的公交物联网海量采集数据存储平台难点20
• 2.2.1 海量GPS日志数据读写性能问题20
• 2.2.2 海量视频文件的转码效率问题20
• 2.3 本章小结20-22
• 第3章 公交物联网平台架构22-30
• 3.1 数据采集层23-25
• 3.2 业务处理层25-26
• 3.3 Hadoop平台层26-29
• 3.3.1 Hadoop日志存储管理系统26-27
• 3.3.2 Hadoop视频存储转码系统27-29
• 3.4 本章小结29-30
• 第4章 基于Hadoop的公交物联网GPS日志存储管理系统30-54
• 4.1 总体设计30-32
• 4.2 存储映射模块32-38
• 4.2.1 数据存储模型32-33
• 4.2.2 存储层次划分33-36
• 4.2.3 文件存储结构36-38
• 4.3 元数据管理模块38-39
• 4.4 Hive数据加载模块39-41
• 4.5 查询处理模块41-43
• 4.5.1 自定义Input Format41
• 4.5.2 Hive数据查询41-42
• 4.5.3 查询结果分析42-43
• 4.6 节点存储管理模块43-46
• 4.6.1 节点性能评估方法43-44
• 4.6.2 存储节点选择方法44-46
• 4.6.3 小文件块处理46
• 4.7 实验与系统评估46-53
• 4.7.1 实验环境与测试数据46-48
• 4.7.2 实验结果与系统评估48-53
• 4.8 本章小结53-54
• 第5章 基于Hadoop的公交物联网分布式视频存储转码系统54-76
• 5.1 总体设计54-55
• 5.2 视频文件传输与存储55-57
• 5.3 分布式视频转码处理过程57-62
• 5.3.1 Map阶段59-61
• 5.3.2 Reduce阶段61-62
• 5.4 FFmpeg视频处理62-67
• 5.4.1 FFmpeg视频切割63-64
• 5.4.2 FFmpeg视频转码64-67
• 5.4.3 FFmpeg视频合并67
• 5.5 HDFS视频文件操作67-70
• 5.5.1 节点间视频文件传输67-68
• 5.5.2 视频文件压缩68-69
• 5.5.3 视频文件访问69-70
• 5.6 实验与系统评估70-75
• 5.6.1 实验环境与测试数据70-72
• 5.6.2 实验结果与系统评估72-75
• 5.7 本章小结75-76
• 结论76-78
• 参考文献78-82
• 攻读硕士学位期间所取得的学术成果82-84
• 致谢84

【相似文献】

中国期刊全文数据库 前10条

1 ;上海开中国物联网技术研发先河[J];上海城市管理;2010年02期

2 网集;;物联网正悄然改变着我们的生活[J];华北电业;2010年03期

3 本刊编辑;;感知中国与物联网[J];智能建筑与城市信息;2010年05期

4 周洪波;;“千面”物联网初探[J];智能建筑与城市信息;2010年05期

5 ;“物联网”[J];电工材料;2010年02期

6 赵红梅;;制定完善标准体系 大力发展物联网[J];大众标准化;2010年S1期

7 本刊编辑部;;中国物联网标准联合工作组成立[J];现代建筑电气;2010年06期

8 苏江;;物联网破成本“瓶颈”[J];交通建设与管理;2010年07期

9 李尚春;;物联网在中国流程制造业中的应用[J];中国制造业信息化;2010年14期

10 ;物联网整体规模将达到7500亿元[J];中国防伪报道;2010年11期

中国重要会议论文全文数据库 前10条

1 柯欣;;物联网的智慧从何而来[A];两化融合与物联网发展学术研讨会论文集[C];2010年

2 李晨熙;;物联网的发展状况与趋势[A];两化融合与物联网发展学术研讨会论文集[C];2010年

3 朱顺强;;中国物联网发展状况分析[A];中国通信学会2010年光缆电缆学术年会论文集[C];2010年

4 李文增;李拉;;对我国物联网产业进一步加快发展的对策研究[A];2010年度京津冀区域协作论坛论文集[C];2010年

5 曾跃;罗斌;周东晓;;关注物联网发展:冷静分析,务实前行[A];两化融合与物联网发展学术研讨会论文集[C];2010年

6 张金鑫;魏峻旭;;我国物联网发展现状研究[A];两化融合与物联网发展学术研讨会论文集[C];2010年

7 肖良颜;余翔宇;;广东省物联网建设和发展的思考[A];广东通信2010青年论坛优秀论文集[C];2010年

8 曹玉旺;张炎明;;浅析物联网下智慧城市的发展策略[A];融合与创新——中国通信学会通信管理委员会第29次学术研讨会论文集[C];2011年

9 陈卫国;;超级物联网:中国物联网发展第三条道路[A];新观点新学说学术沙龙文集47：物联网产业与区域经济发展[C];2010年

10 王继祥;;避免浮躁气息,求同存异推进物联网应用[A];新观点新学说学术沙龙文集47：物联网产业与区域经济发展[C];2010年

中国重要报纸全文数据库 前10条

1 本报记者 张煜;物联网：下一个经济增长点？[N];中国电子报;2009年

2 本报记者 魏刚;物联网：地球的神经元[N];北京科技报;2009年

3 本报通讯员 张前　本报记者 陈晓春;神奇物联网,大步走近我们的生活[N];新华日报;2009年

4 蔡玉高　刘巍巍;我国科研机构加紧研发物联网技术[N];人民邮电;2009年

5 记者 付秋实;物联网,危机催生的新技术[N];金融时报;2009年

6 朱小兵;物联网不可一阵风[N];计算机世界;2009年

7 本报记者 谷慧;物联网掘金潮:前夜突围[N];中国经营报;2009年

8 本报记者 张丽娅　陈薇亦 实习生 方卿;“物联网”生活令人憧憬[N];江苏经济报;2009年

9 工业和信息化部 通信科技委委员 侯自强;物联网仅仅才开始[N];计算机世界;2009年

10 本报记者 余建斌　整理 刘先云;物联网,智能改变生活[N];人民日报;2009年

中国博士学位论文全文数据库 前10条

1 董新平;物联网产业成长研究[D];华中师范大学;2012年

2 苏美文;物联网产业发展的理论分析与对策研究[D];吉林大学;2015年

3 邓雪峰;设施农业物联网系统建模与模型验证[D];中国农业大学;2016年

4 王峰;物联网数据处理若干关键问题研究[D];吉林大学;2016年

5 原旭;面向精细化种植的物联网数据处理方法研究[D];大连理工大学;2016年

6 喻涛;物联网感知终端及数据管理关键技术研究[D];武汉大学;2015年

7 杜克明;小麦生长监测物联网关键技术研究[D];中国农业科学院;2015年

8 方昶;物联网环境下混合生产系统中三种新的生产计划模型及求解算法研究[D];合肥工业大学;2016年

9 杨建栋;面向城市生命线管理的物联网关键技术研究与应用[D];北京工业大学;2016年

10 骆冰清;物联网轻量级IP寻址技术研究[D];南京邮电大学;2016年

中国硕士学位论文全文数据库 前10条

1 关勇;物联网行业发展分析[D];北京邮电大学;2010年

2 刘鹏程;物联网标准体系构建研究[D];北京交通大学;2011年

3 黄迪;物联网的应用和发展研究[D];北京邮电大学;2011年

4 曹自立;物联网产业发展的驱动因素研究[D];南京邮电大学;2012年

5 周桄召;我国物联网产业布局及对策研究[D];南京邮电大学;2012年

6 覃敏杰;物联网产业发展影响研究[D];北京邮电大学;2012年

7 程钰杰;我国物联网产业发展研究[D];安徽大学;2012年

8 唐力;物联网伦理问题探究[D];太原科技大学;2012年

9 宁金芳;从虚拟到实在：对物联网的哲学探究[D];中南大学;2012年

10 周洁;物联网环境下我国政府公共服务的研究[D];西南交通大学;2012年

，

本文编号：557556