基于Hash算法实现搜索引擎中重复WEB页面的消除

发布时间：2018-03-20 14:39

  本文选题：网络蜘蛛　切入点：搜索引擎　出处：《微计算机信息》2006年27期 　论文类型：期刊论文

【摘要】：搜索引擎已经成为互联网用户进入网络的一个重要入口。但目前搜索引擎的结果还存在着许多有待改进的地方。本文从搜索引擎返回结果中存在的重复页面入手,解决如何消除重复页面,并对其将来的发展进行了进一步探讨。
[Abstract]:Search engine has become an important entry point for Internet users to enter the network. However, there are still many improvements to be made in the results of search engines at present. How to eliminate duplication of pages is solved, and its future development is further discussed.
【作者单位】：
【分类号】：TP391.3

【参考文献】

相关期刊论文 前7条

1 陈灶芳 ,黄国涛;用于互联网信息搜索系统的网络蜘蛛设计与实现[J];广东科技;2005年01期

2 闫宏飞,李晓明;关于中国Web的大小、形状和结构[J];计算机研究与发展;2002年08期

3 赫枫龄,左万利;用有向图法解决网页爬行中循环链接问题[J];吉林大学学报(理学版);2004年03期

4 王晓宇,周傲英;万维网的链接结构分析及其应用综述[J];软件学报;2003年10期

5 李晓明,凤旺森;两种对URL的散列效果很好的函数[J];软件学报;2004年02期

6 周先存,侯整风;一种基于ELGamal签名和零知识证明的身份认证方案[J];微计算机信息;2004年05期

7 张瀚,王秀峰,李朝晖,刘大海;基于时空混沌系统的单向Hash函数构造[J];物理学报;2005年09期

【共引文献】

相关期刊论文 前10条

1 蒋宗礼;李宪雷;徐学可;;基于主题Hub值的元搜索[J];北京工业大学学报;2009年03期

2 叶琳莉;林嵩凯;;基于Web结构挖掘算法的网站构建[J];电脑知识与技术;2008年34期

3 王梅;;搜索引擎中的web链接算法研究与改进[J];电脑知识与技术;2009年24期

4 谭涛;;高效的动态脚本网页关联性挖掘算法研究[J];电脑知识与技术;2012年13期

5 张智江;王志军;张尼;;一种可应用于大流量环境的双层散列算法研究[J];电信科学;2011年S1期

6 李江;殷之明;;链接分析研究综述[J];大学图书馆学报;2008年02期

7 孙晶晶;蔡勉;赵阳;;基于可信计算的云用户安全模型[J];计算机安全;2012年04期

8 何淑庆;李村合;张培颖;;URL分级散列在分布式搜索引擎中的应用[J];电子技术应用;2006年07期

9 孟涛,闫宏飞,李晓明;一种评价搜索引擎信息覆盖率的模型及其验证[J];电子学报;2003年08期

10 王艳辉,吴斌,王柏;电信社群网络静态几何性质分析研究[J];复杂系统与复杂性科学;2005年02期

相关会议论文 前9条

1 黄高平;苏金树;陈曙辉;;一种基于高速链路的Hash算法[A];2006年全国理论计算机科学学术年会论文集[C];2006年

2 邹永斌;陈兴蜀;王文贤;;一个高性能Web资源收集系统的设计与实现[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

3 丁国栋;王斌;;基于网站链接关系的中国境内WEB图结构研究[A];全国网络与信息安全技术研讨会’2004论文集[C];2004年

4 张智江;王志军;张尼;;一种可应用于大流量环境下的双层散列算法研究[A];中国通信学会信息通信网络技术委员会2011年年会论文集（下册）[C];2011年

5 张冉;卡米力毛依丁;;基于论文参考文献引用分析的专业文献查询库[A];第十届全国少数民族语言文字信息处理学术研讨会论文集[C];2005年

6 杨宇航;赵铁军;郑德权;于浩;;基于链接分析的重要Blog信息源发现[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

7 李静静;闫宏飞;;中文网页信息检索测试集的构建、分析及应用[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

8 王玉婷;杜亚军;涂腾涛;;基于Web链接的主题爬行虫初始URL的研究[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年

9 张志强;梁婷婷;谢晓芹;;一种基于用户标记的搜索结果排序算法[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

相关博士学位论文 前10条

1 黄莉;基于语义关联的重复数据清理技术研究[D];华中科技大学;2011年

2 杨抒;基于WEB的林产品信息资源整合方法研究[D];北京林业大学;2011年

3 邓小龙;基于复杂网络分析的新一代电信CRM关键技术研究[D];北京邮电大学;2011年

4 郭现峰;基于混沌动态S盒的密码算法及其应用研究[D];西南交通大学;2011年

5 许笑;分布式Web信息采集关键技术研究[D];哈尔滨工业大学;2011年

6 寇月;Deep Web实体搜索的关键技术研究[D];东北大学;2009年

7 刘文捷;网格环境下主动式安全系统的通信机制研究[D];哈尔滨工程大学;2006年

8 乐小虬;非结构化网络空间信息智能搜索与服务研究[D];中国科学院研究生院（遥感应用研究所）;2006年

9 吴丽辉;个性化的Web信息采集技术研究[D];中国科学院研究生院（计算技术研究所）;2005年

10 张鹏;基于信息光学的多维数据加密及数字水印[D];天津大学;2006年

相关硕士学位论文 前10条

1 王芳;基于EVS相似度的邮件社区划分方法研究[D];郑州大学;2010年

2 司贺华;网络内容审计系统关键技术研究与实现[D];哈尔滨工程大学;2010年

3 张士军;基于随机游走的网页协同排序算法研究[D];大连理工大学;2010年

4 李sネ，

本文编号：1639540