基于Redis实现HBase二级索引的方法

发布时间：2017-10-29 10:23

  本文关键词：基于Redis实现HBase二级索引的方法

  更多相关文章： 大数据 HBase 二级索引 rowkey Redis

【摘要】：随着大数据时代的到来,海量数据对传统数据库技术提出了存储和检索性能的挑战。HBase是开源No SQL数据库,适合于各种非结构化和半结构化的松散数据的存储和管理,目前已经被很多大型企业用于处理海量数据。它基于rowkey的有序存储,对rowkey支持毫秒级的快速检索。然而,随着HBase应用的不断深入,单一的通过rowkey检索数据的方式不再满足需求,在实际应用中,经常需要根据指定字段,或者几个字段进行组合检索。针对该问题,本文提出了一种基于Redis创建HBase二级索引的方法,使得在实际应用中,支持多条件查询,提升查询的效率和性能。
【作者单位】： 北京邮电大学网络技术研究院;上海欣方智能系统有限公司北京分公司;
【关键词】： 大数据 HBase 二级索引 rowkey Redis
【分类号】：TP311.13
【正文快照】： 0引言随着信息技术的发展,网络己经成为人们交流、娱乐等活动的主要工具,互联网的内容越来越丰富,数据规模也愈加庞大[1]。一些国内外著名的社交网站Facebook、Twitter、Linked In,搜索网站Coogle、Yahoo、Baidu、Sougo,购物网站Amazon、Taobao等大型网站,它们的用户规模庞大,

【相似文献】

中国期刊全文数据库 前10条

1 ;本期广告商索引表[J];电子与电脑;2000年01期

2 ;本期编辑内容产品索引表[J];电子与电脑;2000年02期

3 ;本期广告商索引表[J];电子与电脑;2000年02期

4 ;本期编辑内容产品索引表[J];电子与电脑;2000年04期

5 ;本期广告商索引表[J];电子与电脑;2000年04期

6 ;本期编辑内容产品索引表[J];电子与电脑;2000年11期

7 ;本期广告商索引表[J];电子与电脑;2000年11期

8 ;本期编辑内容产品索引表[J];电子与电脑;1999年05期

9 ;本期编辑内容产品索引表[J];电子与电脑;1999年08期

10 ;本期编辑内容产品索引表[J];电子与电脑;1999年09期

中国重要会议论文全文数据库 前8条

1 石玮峰;杨冬青;唐世渭;关涛;;COBASE的索引管理技术[A];第十二届全国数据库学术会议论文集[C];1994年

2 王彦祥;王广林;;“索引之星”的研制和索引编制[A];2004年辞书与数字化研讨会论文集[C];2004年

3 王晓辉;王柏;;通过有效使用索引优化Oracle应用系统性能[A];第九届全国青年通信学术会议论文集[C];2004年

4 孙云峰;陈渝;史元春;张宝鹏;张曦;江文峰;;基于高精度室内定位系统的移动物体轨迹索引[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

5 王先胜;乔健;汪卫;何震瀛;;AX-Tree:基于RDBMS的粒度自适应XML数据索引[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

6 邵雄凯;卢炎生;程学先;;用建立本地广播索引表的方法改善移动客户机的性能[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

7 薛巍;李维佳;穆飞;舒继武;;PDPI：一种面向多核的可扩展并行索引算法[A];全国网络与信息安全技术研讨会论文集（下册）[C];2007年

8 王鹏飞;洪晓光;;基于XML大文档的动态索引[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

中国博士学位论文全文数据库 前3条

1 张帆;搜索引擎中索引表求交和提前停止技术优化研究[D];南开大学;2012年

2 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

3 余利华;分布式数据存储和处理的若干技术研究[D];浙江大学;2008年

中国硕士学位论文全文数据库 前10条

1 周文辉;基于HBase和内存数据库的索引和查询技术研究与系统实现[D];南京大学;2014年

2 付佳;基于LSM树的NoSQL数据库索引研究[D];北京理工大学;2016年

3 王健;DWMS中索引选择策略的研究与实现[D];东华大学;2010年

4 胡玉乐;列存储DWMS中的索引关键技术研究[D];东华大学;2011年

5 张慧;一种基于位立方体的XML索引方式[D];山东大学;2007年

6 王学;面向SaaS应用交付平台的多租户数据索引研究[D];山东大学;2012年

7 石有滴;XML索引关键技术研究[D];华南理工大学;2011年

8 陈坚强;DB2数据库索引性能调整与优化[D];上海交通大学;2011年

9 葛付江;面向动态文档集的大规模文本索引构建技术的研究[D];哈尔滨工业大学;2008年

10 刘亦韬;基于压缩全文自索引的分布式索引技术研究[D];杭州电子科技大学;2015年

，

本文编号：1112589