基于HBase的交通数据管理平台设计与实现

发布时间：2017-09-19 17:09

  本文关键词：基于HBase的交通数据管理平台设计与实现

  更多相关文章： NoSQL数据库 分布式文件系统 分布式消息队列 海量数据

【摘要】：随着社会经济水平的提高,机动车保有量迅速增长,交通拥堵严重、交通事故增长等问题日益严重,与车辆有关的犯罪行为也逐渐增加。针对这一情况,各地公安及交通管理部门建设了大量的智能采集设备,对车辆的行车轨迹等进行记录,形成了海量的结构化过车记录、图像、视频等数据。这些数据数量巨大、种类丰富,蕴含着巨大的价值,利用好这些数据将产生巨大的社会和经济效益。但是,采集设备的增加和抓拍清晰度的提高使得获取的数据量飞速增长,对数据接入、存储和分析能力带来了很大的考验,传统的单机式的数据接入和存储架构无法满足海量数据接入存储的需求。面对这些挑战和新的需求,我们利用新兴的大数据技术,构建了新一代的交通数据管理平台。为了解决海量数据接入存储的问题,我们研究了分布式文件系统、NoSQL数据库、磁盘阵列、分布式批处理框架、分布式流处理框架、分布式消息队列等相关技术。在此基础上,我们对用户需求进行了深入分析,设计了以HBase为基础的分布式架构的方案。我们的方案使用分布式文件系统HDFS存储图片、视频等非结构化数据,将结构化数据存到HBase,使用分布式计算框架对存在HBase中的数据进行分析,使用分布式消息队列作为系统消息传递的中间件,很好地解决了海量数据的接入、存储、查询、分析等问题。遵循软件工程的基本思想,在完成需求分析和上述的总体设计后我们又继续完成了架构和功能的详细设计、软件功能实现和测试,并最终投入到了实际的生产环境中使用。在实现过程中,整个系统采用MVC的软件架构,使用了Java Web的相关技术和相关框架,做到了模块间的低耦合和模块内的高聚合,保证了代码良好的结构和系统功能的稳定性。
【关键词】：NoSQL数据库 分布式文件系统 分布式消息队列 海量数据
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52
【目录】：

• 摘要8-9
• ABSTRACT9-10
• 第1章 绪论10-17
• 1.1 研究背景与意义10-12
• 1.1.1 智能交通管控介绍10-11
• 1.1.2 国内外研究现状11-12
• 1.1.3 研究的目的和意义12
• 1.2 相关技术发展情况12-15
• 1.2.1 分布式文件系统13
• 1.2.2 NoSQL数据库13-14
• 1.2.3 分布式计算技术14
• 1.2.4 其他相关技术介绍14-15
• 1.3 本文的主要工作15-16
• 1.4 论文的组织结构16-17
• 第2章 需求分析17-23
• 2.1 系统概述与分析17
• 2.2 功能性需求17-21
• 2.2.1 海量数据高速实时接入18
• 2.2.2 海量数据高效存储检索18-21
• 2.3 非功能性需求21-23
• 第3章 系统架构设计23-33
• 3.1 系统的基础架构23-25
• 3.1.1 系统的软件架构设计23-24
• 3.1.2 系统主数据流走向24-25
• 3.2 卡口部分架构设计25-29
• 3.2.1 卡口数据接入设计25-27
• 3.2.2 卡口数据存储设计27-29
• 3.3 视频部分架构设计29-31
• 3.3.1 视频数据接入设计29-30
• 3.3.2 视频数据存储设计30-31
• 3.4 前后台交互架构设计31-33
• 第4章 系统详细设计33-49
• 4.1 数据接入部分详细设计33-39
• 4.1.1 卡口数据接入详细设计33-37
• 4.1.2 视频数据接入详细设计37-39
• 4.2 数据存储部分详细设计39-42
• 4.2.1 卡口数据存储详细设计39-40
• 4.2.2 视频数据存储详细设计40-42
• 4.3 查询统计部分详细设计42-45
• 4.3.1 卡口数据查询统计详细设计42-44
• 4.3.2 视频数据查询详细设计44-45
• 4.4 数据下载部分详细设计45-47
• 4.4.1 图片服务器详细设计45-46
• 4.4.2 视频服务器详细设计46-47
• 4.5 前后台交互中间件详细设计47-49
• 第5章 系统实现49-56
• 5.1 概述49-50
• 5.2 系统部分功能页面展示50-53
• 5.3 系统相关功能代码实现53-56
• 第6章 系统测试56-58
• 第7章 结论与展望58-59
• 参考文献59-61
• 致谢61-62
• 攻读学位期间发表的学术论文目录62-63
• 学位论文评阅及答辩情况表63

【相似文献】

中国期刊全文数据库 前10条

1 黄行;;构筑历史数据管理平台[J];金融电子化;2005年05期

2 付强;萧蕴诗;;油田数据管理平台的研究与开发[J];佳木斯大学学报(自然科学版);2006年04期

3 吴燕;;统一数据管理平台[J];信息系统工程;2008年02期

4 牟彬;;推进银行数据管理平台系统建设 为银行应用系统提供基础支持[J];金融电子化;2005年09期

5 陈德旺;魏天磊;侯赞;;嵌入式数字轨道地图数据管理平台的研究与设计[J];铁路计算机应用;2010年07期

6 孔维生;沈春山;吴仲城;申飞;;稳态强磁场数据管理平台的设计与实现[J];计算机工程与设计;2011年04期

7 董冬;朱成亮;胡瑛;刘晓;李恒;;试验数据管理平台设计研究[J];火箭推进;2014年04期

8 关颖;陈云鹏;;分析网络化环境监测数据管理平台设计与开发[J];计算机光盘软件与应用;2013年13期

9 冯宇;;非结构化数据管理平台研究与建设[J];电力信息化;2012年02期

10 万俊;;试验数据管理平台建设的研究----以飞机研制单位为例[J];数字技术与应用;2014年04期

中国重要报纸全文数据库 前6条

1 李群立 王忠贤;费县地税局 依托数据管理平台 加强数据检查考核[N];联合日报;2009年

2 记者 李建国;内蒙古建成统一水资源数据管理平台[N];中国水利报;2014年

3 ;客户数据管理平台DataMatch发布[N];计算机世界;2008年

4 郭涛;H3C UDM统一数据管理平台[N];中国计算机报;2008年

5 本报记者 邹大斌;VMware中国研发进入核心领域[N];计算机世界;2011年

6 记者 桂雪琴;联通信息“孤岛” 为精益造船夯实基础[N];中国船舶报;2012年

中国硕士学位论文全文数据库 前10条

1 刘鹏;基于Spark的数据管理平台的设计与实现[D];浙江大学;2016年

2 郑国柱;基于SOA和ESB技术的烟草行业主数据管理平台的设计与实现[D];中国科学院大学(工程管理与信息技术学院);2016年

3 宋仁勇;基于HBase的交通数据管理平台设计与实现[D];山东大学;2016年

4 雷振兴;数字化校园公共数据管理平台的设计与实现[D];西安科技大学;2015年

5 孙宇;企业公共数据管理平台的设计与实现[D];东北石油大学;2016年

6 谢家旺;基于云计算的寻畅网数据管理平台开发[D];复旦大学;2010年

7 奈存剑;虚拟化数据管理平台研究[D];华中科技大学;2013年

8 张宇波;上海空气质量自动监测数据管理平台设计与开发[D];复旦大学;2012年

9 石路遥;广告投放数据管理平台的设计与实现[D];北京交通大学;2015年

10 武元平;A大学主数据管理平台解决方案设计[D];内蒙古大学;2015年

，

本文编号：882861