URL分级散列在分布式搜索引擎中的应用

发布时间：2018-10-21 18:58

【摘要】：搜索引擎在采用分布式技术的信息搜集中存在URL匹配和系统负载平衡的问题。针对现有的几种分布式信息搜集系统设计的不足,提出了对URL分级散列进行定位和匹配的方法,给出了两种适用于中文信息搜集的URL散列函数,并进行了实验分析。
[Abstract]:The problem of URL matching and system load balancing exists in the information collection of distributed search engine. Aiming at the shortcomings of several distributed information collection systems, this paper presents a method of locating and matching URL hierarchical hashes, gives two kinds of URL hash functions suitable for Chinese information collection, and makes an experimental analysis.
【作者单位】： 中国石油大学(华东)计算机与通信工程学院 中国石油大学(华东)计算机与通信工程学院 中国石油大学(华东)计算机与通信工程学院
【分类号】：TP391.3

【共引文献】

中国期刊全文数据库 前6条

1 徐凤刚;许俊奎;潘清;;可扩展Hash方法的一种改进算法[J];计算机工程与应用;2006年04期

2 詹川;卢显良;侯孟书;邢茜;;一种快速的基于URL的垃圾邮件过滤系统[J];计算机科学;2005年08期

3 高凯;王永成;肖君;;网页去重策略[J];上海交通大学学报;2006年05期

4 杨海东;叶小岭;张颖超;;基于Hash算法实现搜索引擎中重复WEB页面的消除[J];微计算机信息;2006年27期

5 肖明忠;闵博楠;王佳聪;代亚非;;一个实用的针对URL的哈希函数[J];小型微型计算机系统;2006年03期

6 吴丽辉;白硕;张刚;张凯;;Web信息采集中的哈希函数比较[J];小型微型计算机系统;2006年04期

中国重要会议论文全文数据库 前1条

1 黄高平;苏金树;陈曙辉;;一种基于高速链路的Hash算法[A];2006年全国理论计算机科学学术年会论文集[C];2006年

中国博士学位论文全文数据库 前2条

1 谢鲲;布鲁姆过滤器查询算法及其应用研究[D];湖南大学;2007年

2 吴丽辉;个性化的Web信息采集技术研究[D];中国科学院研究生院（计算技术研究所）;2005年

中国硕士学位论文全文数据库 前10条

1 汪维清;低代价最短路径树快速算法的时间复杂度研究[D];西南大学;2007年

2 梅东霞;面向XML文档的数据挖掘技术研究[D];北京化工大学;2007年

3 刘壁松;策略可扩展的搜索引擎研究和实现[D];清华大学;2005年

4 李淑静;基于内容的垃圾邮件过滤研究与实现[D];南京信息工程大学;2006年

5 赵敏涯;基于主题的新闻搜索引擎的研究与实现[D];扬州大学;2006年

6 黄永光;基于网页挖掘的搜索引擎若干技术的研究[D];哈尔滨工业大学;2006年

7 孙珂;网站主题分析、标引与检索技术的研究[D];哈尔滨工业大学;2006年

8 高杰;基于应用区分的多级Web QoS服务模型研究与实现[D];东南大学;2006年

9 赵钦;并行爬行器的架构与优化策略[D];北京工业大学;2006年

10 孙艳华;垃圾邮件过滤技术的研究[D];大连海事大学;2007年

【相似文献】

中国期刊全文数据库 前10条

1 金绥更;关于最小完善散列函数[J];计算机学报;1987年05期

2 曹桂田,黄令恭;关于对电子邮件安全增强(PEM)机制评述的商榷[J];上海大学学报(自然科学版);1997年02期

3 郭振波,张公敬;虚拟存储地址变换的倒置映象技术[J];微计算机应用;1999年01期

4 蔡红柳,李泽民,何新华;用IDEA构造散列函数实现认证的方案[J];计算机工程;2000年S1期

5 王勇,潘懋;一种基于散列函数的三角面片拓扑快速建立算法[J];计算机工程与应用;2001年17期

6 朱建伟,何熙文;数据流在网络传输中的实时认证[J];微处理机;2001年04期

7 吴业福;用VB6实现中文文本的加密[J];微型机与应用;2001年04期

8 李家国,李建华,章 程;一种Web站点网页资源保护设计方案[J];计算机工程;2002年04期

9 刘翌南,费洪晓,冷健;文件防篡改的技术及实现[J];湘潭大学自然科学学报;2002年03期

10 李哲,方勇,陈淑敏,刘杰;数据库加密技术中散列函数的应用[J];计算机工程;2003年17期

中国重要会议论文全文数据库 前3条

1 方妮;郭超;;DSA数字签名算法研究及软件实现[A];中国工程物理研究院科技年报（2001）[C];2001年

2 潘丽;邹建成;;一种基于英文文本内容的零水印新算法[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集（上册）[C];2007年

3 施俊龙;沈明玉;赵钦;;一种改进的OPT技术[A];全国第19届计算机技术与应用（CACIS）学术会议论文集（下册）[C];2008年

中国重要报纸全文数据库 前7条

1 潘成文;动态密码认证的起源和应用[N];计算机世界;2002年

2 沈建苗;警惕网络欺诈[N];中国计算机报;2004年

3 李东亮;设计自免疫防火墙[N];计算机世界;2004年

4 中科院计算所 罗杰文;P2P网络的拓扑结构[N];计算机世界;2006年

5 中科院计算所 罗杰文;P2P搜索技术研究与挑战[N];计算机世界;2006年

6 中国工程院院士 沈昌祥;大力发展我国可信计算技术及产业[N];计算机世界;2007年

7 冯卫东;新技术开创新生活[N];科技日报;2009年

中国博士学位论文全文数据库 前2条

1 蒋汝忠;匿名群体及抗重设攻击身份识别方案研究[D];浙江大学;2003年

2 阎召祥;公钥加密方案的选密安全性证明方法及2～m次根识别方案在同步攻击下的安全性证明[D];山东大学;2007年

中国硕士学位论文全文数据库 前10条

1 王勇;实时加密和散列CBC的构造方法[D];福州大学;2002年

2 单玉峰;电子商务中数据安全性问题的研究——AES算法的研究与实现[D];合肥工业大学;2002年

3 鲁军;电子投票系统及其身份认证和投票协议的设计与实现[D];重庆大学;2004年

4 蔡璐;图书馆网站内容防护系统的研究与实现[D];国防科学技术大学;2005年

5 陆国栋;基于IPSec VPN的安全性研究[D];华东师范大学;2006年

6 王兵;基于智能卡和PKI的安全文件传输软件设计与实现[D];电子科技大学;2006年

7 孙黎;IPSec安全芯片的设计与实现[D];西北工业大学;2007年

8 孙贺;基于密码学及数字签名的电子印章解决方案[D];吉林大学;2007年

9 孙楠楠;面向可信计算平台的SHA-1协处理器研究与实现[D];电子科技大学;2007年

10 王倩;BAN类逻辑的研究[D];山东大学;2007年

，

本文编号：2286050