分布式结构化P2P网络下局部敏感哈希快速检索的负载均衡

发布时间：2018-04-09 08:25

  本文选题：负载均衡　切入点：分布式哈希表(DHT)　出处：《高技术通讯》2013年12期

【摘要】：研究了分布式哈希表(DHT)结构化P2P网络下,采用局部敏感哈希(LSH)方法进行相似检索时的负载均衡问题。考虑到LSH方法在高维空间下可以有效地进行K近邻检索,近年来LSH逐渐扩展到DHT分布式P2P网络下处理分布式相似检索问题,提出了一种采用虚拟节点方式管理多维度LSH桶空间的方法,将服从特定分布的多维LSH桶空间映射到DHT命名空间,以更好的负载均衡效果降低分布式环境下快速检索的性能损耗,优化查询效率。进而,以Chord结构为例,提出了基于虚拟节点的负载均衡具体算法。与其他方法相比,该方法能有效地改善节点负载均衡。通过实验验证了该方法的有效性。
[Abstract]:The problem of load balancing in distributed hashing table (DHT) structured P2P networks with local sensitive hashing LSHs for similar retrieval is studied.Considering that LSH can effectively perform K-nearest neighbor retrieval in high-dimensional space, LSH has been extended to deal with distributed similar retrieval in DHT distributed P2P networks in recent years.In this paper, a method of managing multi-dimensional LSH bucket space by virtual node is proposed. The service is mapped from multi-dimensional LSH bucket space to DHT namespace, which can reduce the performance loss of fast retrieval in distributed environment with better load balancing effect.Optimize query efficiency.Then, taking the Chord structure as an example, a load balancing algorithm based on virtual nodes is proposed.Compared with other methods, this method can effectively improve the load balance of nodes.The effectiveness of the method is verified by experiments.
【作者单位】： 中国科学院声学所国家网络新媒体工程技术研究中心;中国科学技术大学网络传播系统与控制联合实验室;中国科学院计算技术研究所烟台分所烟台中科网络技术研究所;
【基金】：国家自然科学基金(60975045) 国家科技支撑计划(2011BAH11B01) 中科院先导专项(XDA06030)资助项目
【分类号】：TP393.02

【相似文献】

相关期刊论文 前10条

1 张勇,雷振明;基于流应用中的哈希查表性能研究[J];计算机工程与应用;2003年25期

2 马如林;蒋华;张庆霞;;一种哈希表快速查找的改进方法[J];计算机工程与科学;2008年09期

3 蒋大宏;动态哈希方法[J];计算机工程;1993年01期

4 蒋大宏;实现检索代价最优的动态哈希法[J];计算机工程与应用;1994年Z2期

5 刘冠福;;动态哈希表的设计及应用[J];计算机时代;1996年02期

6 朱芳芳;李训根;;改进的哈希表查找算法[J];杭州电子科技大学学报;2013年05期

7 赵宇;;基于哈希表查找方法的优势及其算法的改进[J];中小企业管理与科技(下旬刊);2012年03期

8 高文利;朱丽;;哈希表在计算语言学中的运用[J];现代语文(语言研究版);2009年06期

9 贺元香;史宝明;;除留余数法建立哈希表的方法改进[J];甘肃科技;2008年07期

10 刘舱强;邓昌胜;余谅;;基于哈希表的最长前缀匹配算法改进[J];微计算机信息;2009年30期

相关会议论文 前2条

1 朱芳芳;李训根;;改进的哈希表查找算法[A];浙江省电子学会2013学术年会论文集[C];2013年

2 赵竞;余宏亮;张X;郑纬民;;广域网分布式哈希表存储副本可靠性的维护[A];全国网络与信息安全技术研讨会论文集（下册）[C];2007年

相关博士学位论文 前1条

1 付海燕;基于图像哈希的大规模图像检索方法研究[D];大连理工大学;2014年

相关硕士学位论文 前10条

1 郝广洋;语音感知哈希及其在密文语音检索中的应用研究[D];西南交通大学;2015年

2 黄志骞;基于迭代量化的用于近似最近邻检索的哈希方法[D];华南理工大学;2015年

3 王聪;基于局部敏感哈希的声源定位方法[D];大连理工大学;2015年

4 邓慧茹;面向大规模视觉检索的哈希学习[D];西安电子科技大学;2014年

5 张梁;基于局部敏感哈希的近似近邻查询算法研究[D];南京邮电大学;2015年

6 卢佳音;基于图像哈希检索的图像重排方法研究[D];大连理工大学;2013年

7 汪龙重;达梦数据库哈希连接算法的研究[D];华中科技大学;2012年

8 杨牧洲;分层哈希链表及其在数据查询认证中的应用[D];东北大学;2009年

9 陈凯;数据库哈希连接算法研究[D];复旦大学;2013年

10 李洋;基于自学哈希的信息检索[D];吉林大学;2015年

，

本文编号：1725639