基于HBase的交通流数据实时存储系统的设计与实现

发布时间：2017-05-27 14:07

  本文关键词：基于HBase的交通流数据实时存储系统的设计与实现，由笔耕文化传播整理发布。

【摘要】：随着大数据处理等技术的快速发展,现代城市智能交通系统也出现了许多新的发展机遇。目前各大城市都建立了专用车辆数据采集网络,所采集的数据逐渐形成了极具价值的大规模交通流数据。上述交通数据具有种类多,速率快,总量大的特点,使用关系型数据库存储这些交通数据时存在写入延迟高、水平扩展能力差等问题。以HBase为代表的NoSQL类数据库由于采用了简单数据模型,相对于关系数据库,具有存储速度快,扩展性高、存储容量大等特点,非常适合作为交通数据的存储介质。但是NoSQL数据库在实际运用过程中,还存在一些问题。就HBase而言：(1)对于行键具有连续性递增或者递减特质的流数据,数据写入时会形成降低写入性能的写入热点。此外HBase写入过程中的参数设置也会对数据库的写入性能产生较大影响。(2)HBase集群支持动态扩展,但现有工作基本都采用手动扩展方式,对自动动态扩展支持不足。(3)未提供标准SQL语句的查询接口支持。为此本文设计并实现了一种基于HBASE的交通流数据实时存储系统DeCloud-RealBase,主要研究工作如下：1、为提升交通流数据的实时写入能力,设计多级缓冲、多线程、预分区、行键结构等写入优化策略。此外还实现了非实时的已存在的历史流数据向HBase集群数据库的迁移。2、在集群扩展方面,摒弃了传统手动扩展Hadoop集群和HBase集群的方法,通过shell脚本实现了HBase集群地动态伸缩。一方面加快了集群扩展的速度,另一方面节省了用户时间,也避免了复杂的集群部署所带来的配置失误问题。3、使用开源的SQL解析器GSQLParser对标准的SQL语句进行语句和语义的解析,然后将其转化为HBase查询语言,并结合HBase的协处理器Coprocessors实现了标准的SQL语句在HBase数据库中地查询。4、最后对本系统进行了实验验证。实验结果表明,本文系统在大部分情况下拥有良好的扩展、存储和查询性能,可以满足实际需要。
【关键词】：流数据 HBase 实时存储 数据迁移 动态扩展
【学位授予单位】：北方工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要3-4
• ABSTRACT4-8
• 第一章 绪论8-13
• 1.1 论文背景及研究意义8
• 1.2 研究问题8-9
• 1.3 研究现状9-11
• 1.4 研究内容11
• 1.5 论文组织结构11-13
• 第二章 相关技术13-20
• 2.1 消息中间件ACTIVEMQ13-15
• 2.2 分布式缓存系统MEMCACHED15-16
• 2.3 HADOOP生态系统16-18
• 2.4 HBASE数据库18-20
• 第三章 流数据实时存储系统设计20-33
• 3.1 系统架构20-21
• 3.2 数据存储关键设计21-25
• 3.2.1 多源缓冲区结构21-23
• 3.2.2 行键(ROW KEY)结构23-24
• 3.2.3 数据服务器预分区24-25
• 3.3 数据查询关键设计25-32
• 3.3.1 SQL解析25-27
• 3.3.2 MEMCACHED缓存策略27-31
• 3.3.3 过滤器和协处理器的使用31-32
• 3.4 本章小结32-33
• 第四章 流数据实时存储系统的实现33-47
• 4.1 集群配置调优33-34
• 4.2 系统存储实现34-41
• 4.2.1 数据写入流程34-36
• 4.2.2 数据写入调度算法实现36-37
• 4.2.3 历史流数据的迁移37-39
• 4.2.4 HBASE集群节点的动态扩展39-40
• 4.2.5 HBASE集群节点的动态删除40-41
• 4.3 系统查询实现41-46
• 4.3.1 SQL语句在HBASE中的查询实现41-43
• 4.3.2 系统支持的查询43-44
• 4.3.3 数据查询调度算法实现44-46
• 4.4 本章小结46-47
• 第五章 实验与评估47-58
• 5.1 存储性能试验47-50
• 5.2 数据迁移实验50-53
• 5.3 集群动态扩展实验53-55
• 5.4 查询性能试验55-57
• 5.5 本章小结57-58
• 第六章 结论与展望58-60
• 6.1 主要结论58
• 6.2 研究展望58-60
• 参考文献60-63
• 在学期间的研究成果63-64
• 致谢64

【相似文献】

中国期刊全文数据库 前4条

1 王方;李华;杜金玲;;无检测器道路交通流数据质量检测方法[J];计算机工程;2014年03期

2 孙亚;朱鲤;;ITS检测器交通流数据质量控制系统研究[J];测控技术;2008年07期

3 耿彦峰;赵慧;;单源交通流数据质量控制算法设计与程序实现[J];计算机工程与应用;2009年06期

4 ;[J];;年期

中国重要会议论文全文数据库 前3条

1 胡伟超;刘君丛;浩哲;肖鹏飞;;实时交通流数据缺失修复方法对比研究[A];第八届中国智能交通年会论文集[C];2013年

2 张亚平;裴玉龙;周刚;;交通流数据采集、处理及其在通行能力分析中的应用研究[A];土木工程与高新技术——中国土木工程学会第十届年会论文集[C];2002年

3 赵慧;于雷;陈旭梅;耿彦斌;;ITS实时交通流数据质量控制方法研究与案例分析[A];第一届中国智能交通年会论文集[C];2005年

中国博士学位论文全文数据库 前1条

1 丁男;基于WSN的实时动态交通流数据获取相关技术研究[D];大连理工大学;2011年

中国硕士学位论文全文数据库 前8条

1 陆婷;基于HBase的交通流数据实时存储系统的设计与实现[D];北方工业大学;2016年

2 金逸文;城市快速路交通流数据修复方法研究[D];上海交通大学;2008年

3 吴芳;交通流数据清洗的关键理论及方法研究[D];山东理工大学;2009年

4 蒲桦隆;基于Qt/E的实时交通流数据显示系统的研究[D];云南大学;2015年

5 洪智兵;基于GPRS的实时交通流数据接发系统的研究[D];云南大学;2015年

6 马韵楠;基于模糊综合评价的道路交通流数据质量评价研究[D];北京交通大学;2015年

7 张旭;面向交通运行状态评价的多源异质交通流数据融合技术方法研究[D];北京交通大学;2008年

8 胡淼;基于Paramics平台的交通仿真设计[D];北京交通大学;2011年

  本文关键词：基于HBase的交通流数据实时存储系统的设计与实现，，由笔耕文化传播整理发布。

本文编号：400161