两种对URL的散列效果很好的函数

发布时间：2019-07-11 20:59

【摘要】：在Web信息处理的研究中,不少情况下需要对很大的URL序列进行散列操作.针对两种典型的应用场合,即Web结构分析中的信息查询和并行搜索引擎中的负载平衡,基于一个含有2 000多万个URL的序列,进行了大规模的实验评测.说明在许多文献中推荐的对字符串散列效果很好的ELFhash函数对URL的散列效果并不好,同时推荐了两种对URL散列效果很好的函数.
[Abstract]:In the research of Web information processing, a large URL sequence needs to be hashed. For two typical applications, namely, the information query in the web structure analysis and the load balancing in the parallel search engine, a large-scale experiment evaluation is carried out based on a sequence containing more than 20 million URLs. The ELFhash function, which is recommended in many documents, has a good effect on the hash of a string, and it is not good to have a good hash effect on the URL, and two functions that are good for the URL hashing are recommended.
【作者单位】： 北京大学计算机科学技术系 北京大学计算机科学技术系
【基金】：国家重点基础研究发展规划(973)No.G1999032706~~
【分类号】：TP393.09

【相似文献】

相关期刊论文 前10条

1 齐剑锋,鄢琦,艾迪明,涂序彦;企业计算机网络中保护数据安全性与完整性的一种实用方法[J];计算机工程;2002年01期

2 孔素然;;基于散列思想的网页去重系统[J];硅谷;2010年22期

3 邓琦皓,段守敏,贺正国,郭金庚;利用URL Cache提升网络入侵检测系统性能[J];计算机应用;2003年S2期

4 陈海涛,胡华平,张怡,龚正虎;网络入侵检测中高效散列模式树算法的研究[J];计算机工程与科学;2002年05期

5 肖明忠;闵博楠;王佳聪;代亚非;;一个实用的针对URL的哈希函数[J];小型微型计算机系统;2006年03期

6 周贤伟;戴昕昱;刘蕴络;;IP组播源认证方案研究[J];计算机工程;2007年16期

7 生慧;张华忠;徐成强;;一种动态的入侵检测系统负载均衡算法[J];计算机工程与设计;2006年23期

8 王永明;;网站性能优化解决方案研究[J];科技经济市场;2007年07期

9 韩向春;沈峰;边玮;樊书娟;;基于MWM算法的多模式匹配的改进算法NMWM[J];计算机与数字工程;2008年09期

10 曹肖宁;;开心网游戏打榜独家绝技[J];电脑爱好者;2009年10期

相关会议论文 前1条

1 刘路;孙庆文;;LTEarth互联网发布的关键技术[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年

相关硕士学位论文 前2条

1 生慧;高速网络入侵检测系统研究[D];山东大学;2006年

2 王凯;非对称VLAN的核心技术研究[D];南京理工大学;2012年

，

本文编号：2513478