面向海量交通数据的HBase时空索引

发布时间：2018-05-11 16:39

  本文选题：海量交通数据 + HBase　； 参考：《计算机应用》2017年02期

【摘要】：针对HBase无法直接建立时空索引所带来的交通数据查询性能问题,基于HBase行键设计了面向海量交通数据的HBase时空索引。首先利用Geohash降维方法将二维空间位置数据转化为一维编码,再与时间维度进行组合;然后根据组合顺序的不同,提出了四种结构模型,分别讨论了模型的具体构成以及交通数据查询中的适应面;最后提出了相应的时空索引管理算法及基于Hbase时空索引的交通数据查询方法。通过实验验证了提出的HBase时空索引结构能有效提升海量交通数据的区域查询性能,并比较了四种时空索引结构在不同数据规模、不同查询半径以及不同时间范围的查询性能,量化验证了不同索引结构在交通数据查询中的适应场景。
[Abstract]:Aiming at the query performance of traffic data caused by HBase's inability to build spatio-temporal index directly, a HBase spatio-temporal index for mass traffic data is designed based on HBase row key. Firstly, the two-dimensional spatial position data is transformed into one dimensional coding by using Geohash dimensionality reduction method, and then combined with time dimension, then according to the different combination order, four kinds of structure models are proposed. Finally, the corresponding spatio-temporal index management algorithm and the traffic data query method based on Hbase spatio-temporal index are proposed. The experimental results show that the proposed HBase spatio-temporal index structure can effectively improve the regional query performance of massive traffic data, and compare the query performance of four spatiotemporal index structures in different data scale, different query radius and different time range. The adaptation scenarios of different index structures in traffic data query are quantitatively verified.
【作者单位】： 北方工业大学大规模流数据集成与分析技术北京市重点实验室;
【基金】：北京市自然科学基金资助项目(4131001,4142023)~~
【分类号】：U495;TP311.13

【参考文献】

相关期刊论文 前4条

1 龚俊;柯胜男;朱庆;张叶廷;;一种集成R树、哈希表和B*树的高效轨迹数据索引方法[J];测绘学报;2015年05期

2 申德荣;于戈;王习特;聂铁铮;寇月;;支持大数据管理的NoSQL系统研究综述[J];软件学报;2013年08期

3 叶小平;郭欢;汤庸;陈罗武;周畅;廖青云;;基于相点分析的移动数据索引技术[J];计算机学报;2011年02期

4 尹章才;李霖;王t$;;基于HR-树扩展的时空索引机制研究[J];武汉大学学报(信息科学版);2007年12期

【共引文献】

相关期刊论文 前10条

1 雷宇辉;钟雯;何清;唐曼玲;刘超英;;Nosql数据库研究文献综述[J];电子世界;2017年04期

2 李冬;房俊;;基于HBase的交通数据区域查询方法[J];计算机与数字工程;2017年02期

3 李常青;谷建华;;一种基于ANTLR的MongoDB数据库SQL转化模型[J];西北工业大学学报;2017年01期

4 张琼文;;试论数据治理在数据质量管理中的作用[J];通讯世界;2017年03期

5 房俊;李冬;郭会云;王嘉怡;;面向海量交通数据的HBase时空索引[J];计算机应用;2017年02期

6 王德文;李静芳;;变电设备状态监测大数据的查询优化方法[J];电力系统自动化;2017年02期

7 王传东;;基于大数据时代的大数据管理研究[J];电子世界;2017年02期

8 肖宝;李璞;胡文君;韦丽娜;;基于Hadoop的大规模RDF语义数据应用平台[J];钦州学院学报;2017年01期

9 向隆刚;王德浩;龚健雅;;大规模轨迹数据的Geohash编码组织及高效范围查询[J];武汉大学学报(信息科学版);2017年01期

10 曹广山;陈f波;;智能客服中大数据技术应用的探讨[J];邮电设计技术;2016年12期

【二级参考文献】

相关期刊论文 前10条

1 孟必平;王腾蛟;李红燕;杨冬青;;分片位图索引:一种适用于云数据管理的辅助索引机制[J];计算机学报;2012年11期

2 龚俊;柯胜男;朱庆;钟若飞;;一种八叉树和三维R树集成的激光点云数据管理方法[J];测绘学报;2012年04期

3 林子雨;赖永炫;林琛;谢怡;邹权;;云数据库研究[J];软件学报;2012年05期

4 王意洁;孙伟东;周松;裴晓强;李小勇;;云计算环境下的分布存储关键技术[J];软件学报;2012年04期

5 龚俊;朱庆;张叶廷;李晓明;周东波;;顾及多细节层次的三维R树索引扩展方法[J];测绘学报;2011年02期

6 许林;李清泉;杨必胜;;一种基于道路网的移动对象的位置索引与邻近查询方法[J];测绘学报;2010年03期

7 李清泉;黄练;;基于GPS轨迹数据的地图匹配算法[J];测绘学报;2010年02期

8 马林兵;张新长;;面向全时段查询的移动对象时空数据模型研究[J];测绘学报;2008年02期

9 郭晶;刘广军;郭磊;董绪荣;;基于3D~+-TPR-tree的点目标全时段移动索引设计[J];测绘学报;2006年03期

10 尹章才,李霖;基于快照-增量的时空索引机制研究[J];测绘学报;2005年03期

【相似文献】

相关期刊论文 前10条

1 ;中国第一款全线交通数据产品问世[J];全球定位系统;2008年06期

2 郭亚中;唐梦侠;季锦章;刘昊;;现有交通数据中心的升级方案研究[J];中国交通信息化;2013年S1期

3 叶亮;;“大数据”背景下我国交通数据管理应用的转型与发展[J];交通与运输(学术版);2013年02期

4 裴玉龙,马骥;实时交通数据的筛选与恢复研究[J];土木工程学报;2003年07期

5 刘振华;岑晏青;;省级交通数据中心建设模式浅析[J];中国交通信息产业;2007年02期

6 仝楠楠;;中国第一款全线交通数据产品问世[J];轻型汽车技术;2008年Z4期

7 韩海航;王强;;交通数据资源分析视图应用研究[J];公路交通科技(应用技术版);2008年04期

8 王国华;窦慧丽;郭敏;;基于小波分析的交通数据自适应消噪算法研究[J];计算机应用与软件;2011年10期

9 施莉娟;朱健;陈小鸿;张yN;;基础交通数据质量评价研究[J];交通信息与安全;2011年05期

10 牛世峰;姜桂艳;;交通数据质量宏观评价与控制方法[J];公路;2012年12期

相关会议论文 前5条

1 陈烨;朱景瑜;;实时交通数据在城市环境中的应用及展望[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年

2 赵一斌;关志超;张昕;胡斌;杨东援;;实时动态交通拥挤地图的交通数据特征值计算方法分析研究[A];2008第四届中国智能交通年会论文集[C];2008年

3 高明;李强;马富诚;;地图数据库交通数据的获取及显示技术研究[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年

4 晏磊;苗李莉;;面向ITS交通数据管理的方法探讨[A];中国地理信息系统协会第八届年会论文集[C];2004年

5 生昕格;;基于hadoop的交通云数据处理平台设计[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年

相关重要报纸文章 前1条

1 范文;我第一款全线交通数据产品问世[N];科技日报;2008年

相关博士学位论文 前1条

1 王清波;城市隧道智能监控系统及交通数据智能分析[D];武汉理工大学;2013年

相关硕士学位论文 前10条

1 张林杰;多源交通数据自动化采集与处理系统研发[D];长安大学;2015年

2 袁亚欣;基于Hadoop交通信息并行处理云平台的设计与实现[D];电子科技大学;2015年

3 张作强;面向公众的交通出行服务系统设计与实现[D];大连理工大学;2015年

4 倪升华;基于数据的交通拥堵评价与预测方法[D];浙江工业大学;2014年

5 王兴武;基于Hadoop的海量交通数据研究与应用[D];浙江工业大学;2015年

6 李红旗;中小城市ITS实时交通数据的质量控制方法研究[D];长安大学;2014年

7 唐永勇;面向ATMS的交通数据管理方法研究[D];吉林大学;2011年

8 李勇伶;服务于城市交通控制系统的交通数据处理技术研究[D];长安大学;2008年

9 赵禹乔;城市道路交通数据检测器优化综合布设方法研究[D];长安大学;2011年

10 王鸿博;智能交通数据信息分析与处理[D];浙江海洋学院;2015年

，

本文编号：1874736