基于协处理器的HBase区域级第二索引研究与实现

发布时间：2018-08-17 20:02

【摘要】：针对HBase全表扫描查询效率问题,对HBase第二索引功能进行研究,实现一种基于HBase协处理器的服务端区域级第二索引扩展功能。通过将索引维护与查询放到服务端完成,极大地减少了网络通信开销。索引文件使用HFile格式组织。利用HFile成熟的编程接口以及高效的读写性能,使得索引维护变得简单易行,也保证了索引读写的效率,提供了高效的查询性能。实践表明,该索引扩展机制能有效地满足集群应用中对大数据集的第二索引查询功能需求。
[Abstract]:Aiming at the efficiency of HBase full-table scanning query, the second index function of HBase is studied, and a server-side region-level second index extension function based on HBase coprocessor is implemented. By putting index maintenance and query on the server, the network communication overhead is greatly reduced. Index files are organized in HFile format. With the mature programming interface of HFile and the high performance of reading and writing, the index maintenance becomes simple and easy, the efficiency of index reading and writing is guaranteed, and the efficient query performance is provided. Practice shows that the index extension mechanism can effectively meet the requirement of the second index query for big data sets in cluster applications.
【作者单位】： 公安部第三研究所网络安全研发中心;
【基金】：上海市科委项目(13511504100)
【分类号】：TP311.13;TP332

【相似文献】

相关期刊论文 前10条

1 Tim O Gara;在定点DSP上实现浮点运算[J];电子产品世界;2005年22期

2 曾晓洋;;可重配置的嵌入式安全协处理器IP核及其应用[J];中国集成电路;2006年12期

3 梁松海,张武健,周润德,羊性滋,葛元庆;一种适用于智能卡应用的RSA协处理器[J];微电子学;1999年01期

4 ;傻博士信箱[J];电脑爱好者;1999年15期

5 ;Cell最新细节[J];微电脑世界;2005年09期

6 Kevin Krewell;;遍地开花的多核技术 多核技术从嵌入式扩展到服务器,再到客户机[J];电子产品世界;2006年05期

7 ;面向便携高清视频应用的DaVinci DM355处理器[J];世界电子元器件;2008年08期

8 王左利;;Nehalem微结构:革命性的改变[J];中国教育网络;2010年Z1期

9 阿英;一个32位微处理器和一些辅助部件[J];计算机工程与设计;1987年02期

10 ;消息树[J];每周电脑报;1999年13期

相关会议论文 前8条

1 孟宪元;;FPGA实现DSP系统的结构模型[A];全国第二届嵌入式技术联合学术会议论文集[C];2007年

2 刘磊;;基于便签式存储器的SoC多处理器访存结构设计与实现[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集（上）[C];2008年

3 陈广宁;;如何测试PC软硬盘驱动器参数[A];广西计算机学会2008年年会论文集[C];2008年

4 刘海清;陆洪毅;童元满;;基于随机掩码的AES算法抗DPA攻击硬件实现[A];全国计算机安全学术交流会论文集（第二十三卷）[C];2008年

5 赵秋平;杨灿群;王锋;;LBM算法在Cell处理器上的实现和优化[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

6 康婧;石盛平;江涛;郭健;;网络处理器的发展及其技术[A];全国第一届嵌入式技术联合学术会议论文集[C];2006年

7 陆庆杭;张彬;盛立东;;基于PCI总线下的汉字识别加速硬件卡的实现[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年

8 潘向峰;王建庭;高辉;党力明;;基于ARM微处理器的Bootloader设计与实现[A];教育部中南地区高等学校电子电气基础课教学研究会第二十届学术年会会议论文集（上册）[C];2010年

相关重要报纸文章 前10条

1 徐淼;四核心与多核心处理器的发展[N];中国计算机报;2007年

2 谢文砚;非x86处理器将再度繁荣[N];中国计算机报;2008年

3 电脑商报记者 祁萌;曙光研制HPC协处理器部件[N];电脑商报;2007年

4 姜波;用户眼中x86技术的未来[N];网络世界;2006年

5 Altera公司高级产品行销经理 Paul Ekas;FPGA协处理器优化汽车信息系统设计[N];中国电子报;2004年

6 姜波;AMD亮剑[N];网络世界;2006年

7 霍光;异构协作冲击万亿次[N];中国计算机报;2007年

8 江南计算技术研究所 王飙 胡苏太;通用多核产品技术现状[N];计算机世界;2006年

9 本版编辑邋陈斌 李洋;打开计算的潘多拉魔盒[N];计算机世界;2007年

10 记者　 孙永杰;“核”战何时休 客户需求最重要[N];中国电子报;2006年

相关博士学位论文 前10条

1 杜学亮;定制指令与协处理器加速机制的研究[D];中国科学技术大学;2009年

2 张晓明;网络处理器设计的若干关键技术研究[D];国防科学技术大学;2006年

3 吴丹;高效能计算型存储器体系结构关键技术研究与实现[D];华中科技大学;2012年

4 孟建熠;超标量嵌入式处理器关键技术设计研究[D];浙江大学;2009年

5 段然;嵌入式可重构DSP体系结构研究[D];西北工业大学;2005年

6 任小西;基于可重构计算的高可靠星载计算机体系结构研究[D];湖南大学;2007年

7 严明;面向领域应用的异构多核SoC系统结构设计与优化[D];国防科学技术大学;2011年

8 钱江波;连续查询硬处理器及相关算法研究[D];东南大学;2006年

9 彭和平;基于航天及空间应用的单片多处理体系结构研究[D];西北工业大学;2006年

10 张宇;面向主动存储服务处理的可重构计算技术研究[D];华中科技大学;2010年

相关硕士学位论文 前10条

1 庞博;高性能专用数字协处理器的设计与测试[D];电子科技大学;2009年

2 张朝华;基于EFI/Tiano的协处理器模型的设计与实现[D];上海交通大学;2007年

3 张薇;可靠通信服务模型及实例研究：Net SPU[D];兰州大学;2009年

4 高路;面向语音编解码算法的高性能SOC架构的研究[D];中国科学技术大学;2009年

5 董冕;高性能混合计算协处理器计算内核的研究与实现[D];华中科技大学;2012年

6 范凯;基于动态可重构技术的阵列型协处理器架构设计与实现[D];上海交通大学;2010年

7 郭超;基于AES的安全协处理器设计与实现[D];华中科技大学;2012年

8 张秀平;MMU协处理器仿真模型的研究及软件仿真实现[D];电子科技大学;2011年

9 王松;基于FPGA的浮点协处理器IP核设计[D];南京航空航天大学;2010年

10 赖明澈;数据并行协处理器体系结构的研究与实现[D];国防科学技术大学;2005年

，

本文编号：2188744