基于HBase的交通大数据查询优化研究

发布时间：2020-08-26 09:30

【摘要】：随着交通数据量的爆炸式增长,传统的交通数据处理手段在处理PB级的交通数据量时效率低下,云计算技术的出现为解决这个问题提供了方向。交通云将交通大数据和Hadoop云平台结合起来,利用Hadoop的非关系型数据库HBase实现对交通大数据的处理。HBase采用横向扩展的方式,通过多台廉价服务器实现海量数据的存储,并且具有高可靠性和高稳定性的特点。首先,提出了基于HBase的交通大数据存储方案。传统的关系型数据在存储交通大数据时存在容量小和效率低的问题,而且交通数据访问具有随机性的特点,为此选择交互式访问效率较高的HBase的进行交通数据存储。同时,为了提高HBase存储效率和访问速度,通过对历史交通数据的调研分析,构建特定行键的HBase表格,并且在HBase仅有的主键查询的基础上增加特定的二级索引,提高查询的速度。其次,提出了基于Phoenix on HBase的查询SQL查询方案。原生HBase不支持SQL查询,只能通过特定行键或者全局扫描的方式获取数据。面对无法识别标准SQL语句的HBase数据库时,很难满足用户习以为常的标准的SQL查询习惯,为此采用Phoenix实现SQL解析,将SQL语句转换成适合HBase执行的语句,不仅方便HBase的使用而且提高了查询效率。最后,提出了基于机器学习的HBase自动调参方案。HBase配置参数作为HBase集群工作过程中分配资源的依据,直接决定HBase集群性能的好坏。HBase具有高达200个配置参数,而默认配置往往性能低下,一般在面对如此多参数的时候,大部分的开发者都会根据自己的实际经验手动配置,但是这样往往比较耗时而且不是全局最优。为此采用机器学习算法,通过随机森林算法建立关于配置参数的性能模型,并且采用遗传算法快速找出性能最优的配置参数,这样能最快速的以最大的概率找到最优配置参数。通过采用HBase进行系统的设计和实现,进而对系统中的查询进行优化,以及对系统的整体查询性能进行测试,结果表明采用HBase处理交通大数据具有高可靠和速度快的特点。
【学位授予单位】：兰州交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：U495;TP311.13
【图文】：

图3.12时间查询

YCSB负载设置

YCSB测试执行结果

【相似文献】

相关期刊论文 前10条

1 孟云侠;;基于HBase的分布式电源控制系统研究[J];电源技术;2017年09期

2 冯小萍;高俊;;分布式数据库HBase[J];信息通信;2015年07期

3 申丹丹;;一种HBase空间索引设计[J];信息与电脑(理论版);2016年08期

4 张智;龚宇;;分布式存储系统HBase关键技术研究[J];现代计算机(专业版);2014年32期

5 仇伟涛;范家铭;李丹;;一种基于HBase的高效半结构化数据查询策略[J];福建电脑;2014年11期

6 温师伟;黄文军;王完英;;基于HBase的电子商务系统设计[J];数字技术与应用;2014年02期

7 王红;孙康;;基于HBase的领域本体存储方法及其应用研究[J];计算机工程与科学;2016年07期

8 杜晓东;;大数据环境下基于Hbase的分布式查询优化研究[J];计算机光盘软件与应用;2014年08期

9 倪思颖;;HBase的物理、逻辑结构以及数据操作和适用场景探析[J];信息与电脑(理论版);2016年01期

10 陈波;;基于HBASE分布式存储的通用海量日志系统设计方法研究[J];信息通信;2017年06期

相关会议论文 前10条

1 熊明;熊岚;唐常杰;;HBASE的时态查询语言和编译器[A];第十届全国数据库学术会议论文集[C];1992年

2 聂竹青;陈智明;陈义明;;基于HBase的房地产估价大数据整合策略[A];挑战与展望——大数据时代房地产估价和经纪行业发展论文集[C];2013年

3 张天庆;魏志毅;周韬;唐常杰;于中华;;有效时间自然联结在HBase中的实现算法[A];数据库研究与进展95——第十三届全国数据库学术会议论文集[C];1995年

4 陈希林;马丁;;针对微博信息分析的HBase存储结构设计[A];第31次全国计算机安全学术交流会论文集[C];2016年

5 王小碧;张文丽;杜德道;吴寿勇;;云计算中基于HBase的电力矢量数据模型及存储方式[A];2016电力行业信息化年会论文集[C];2016年

6 赵冲;毛雪岷;;基于Hadoop云平台的海量瓦片数据管理对比研究[A];第十二届（2017）中国管理学年会论文集[C];2017年

7 田胜利;徐锡山;杨树强;华中杰;;针对HBase的MapReduce访问接口的优化[A];第九届中国通信学会学术年会论文集[C];2012年

8 王建荣;;基于HBase的雷达气象资料存储管理系统设计[A];第34届中国气象学会年会 S20 气象数据：深度应用和标准化论文集[C];2017年

9 王利强;何雪梅;唐常杰;;基于时态数据库的环球网上的数据采掘[A];数据库研究进展97——第十四届全国数据库学术会议论文集（下）[C];1997年

10 生昕格;;基于hadoop的交通云数据处理平台设计[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年

相关硕士学位论文 前10条

1 苏旭博;基于HBase的交通大数据查询优化研究[D];兰州交通大学;2018年

2 达呼;基于HBase的工业云系统架构研究[D];北方工业大学;2018年

3 李美瑶;基于HBase的报表管理系统的设计与实现[D];西安电子科技大学;2016年

4 李崇欣;分布式数据库HBase快照的设计与实现[D];浙江大学;2011年

5 孙康;基于HBase的领域本体存储与查询方法研究[D];中国民航大学;2016年

6 栾洋洋;分布式数据库HBase故障恢复方法研究[D];兰州理工大学;2013年

7 李冬;面向实时交通流数据的HBase辅助索引技术研究和实现[D];北方工业大学;2017年

8 雷云鹏;基于HBase的车辆轨迹数据管理与分析[D];西南交通大学;2017年

9 陈汉;HBase支持图数据的存储与查询[D];北京邮电大学;2016年

10 何伟岗;基于HBase的多决策反馈式计算模型的研究与实现[D];西安电子科技大学;2012年

本文编号：2805002