基于MD5的网页去重算法的设计与研究

发布时间：2018-03-10 01:27

本文选题：结构化网页　切入点：MD　出处：《实验室研究与探索》2013年12期 　论文类型：期刊论文

【摘要】：随着互联网的发展及网络信息的指数状增长,网络上出现了大量的重复网页,降低了检索的查全率和查准率,影响了检索效率。因此,网页去重的准确度直接影响着搜索引擎的质量。本文通过对结构化文本的描述,提出了一种基于MD5的改进的网页去重算法,并从算法内容、算法特征、算法设计进行了阐述,实验表明该方法对提高查全率和查准率具有很好的效果。
[Abstract]:With the development of the Internet and the exponential growth of network information, a large number of repeated web pages appear on the network, which reduces the recall and precision of retrieval, and affects the efficiency of retrieval. The accuracy of web page de-reduplication directly affects the quality of search engine. This paper presents an improved web page de-duplication algorithm based on MD5 by describing the structured text, and describes the algorithm content, algorithm features and algorithm design. Experiments show that this method has a good effect on improving recall and precision.
【作者单位】：山西大学商务学院;
【基金】：山西省科学技术厅软科学研究项目(2013041049-03) 山西省教育科学规划课题(GH-11178)
【分类号】：TP393.092

【参考文献】

相关期刊论文前10条

1 阎亚杰;;网页去重方法研究[J];电脑开发与应用;2008年08期

2 王建勇,谢正茂,雷鸣,李晓明;近似镜像网页检测算法的研究与评价[J];电子学报;2000年S1期

3 梁叶;梁京章;阳红;叶云;;近似镜像检测算法在文本消重中的应用研究[J];广西大学学报(自然科学版);2010年02期

4 王祖析;;基于网页内容的网页消重高效检测算法研究[J];佳木斯大学学报(自然科学版);2010年01期

5 樊勇;郑家恒;;网页去重方法研究[J];计算机工程与应用;2009年12期

6 魏丽霞;郑家恒;;基于网页文本结构的网页去重[J];计算机应用;2007年11期

7 黄仁;冯胜;杨吉云;刘宇;敖民;;基于正文结构和长句提取的网页去重算法[J];计算机应用研究;2010年07期

8 姚新波;马治坤;;基于特征串的网页去重算法[J];科技信息;2008年28期

9 曹传东;郭理;;一种基于文本抽取的网页正文去重算法[J];科技信息;2009年01期

10 王哲;;基于特征码的网页去重算法研究[J];山东广播电视大学学报;2009年01期

【共引文献】

相关期刊论文前10条

1 雷鸣,王建勇,赵江华,单松巍,陈葆珏;第三代搜索引擎与天网二期[J];北京大学学报(自然科学版);2001年05期

2 张玉连;王莎莎;宋桂江;;基于元搜索的网页去重算法[J];燕山大学学报;2011年02期

3 孟时;王彦;;larbin网络爬虫的体系结构[J];电脑学习;2010年04期

4 樊勇;郑家恒;;基于主题的网页去重[J];电脑开发与应用;2008年04期

5 林萍;;提高档案信息利用效率研究[J];福建电脑;2009年05期

6 余海萍;梁征;;B/S结构网络设备运行管理系统的设计与实现[J];广西科学院学报;2007年01期

7 周小平;黄家裕;刘连芳;梁一平;申文明;;基于网页正文主题和摘要的网页去重算法[J];广西科学院学报;2009年04期

8 梁叶;梁京章;阳红;叶云;;近似镜像检测算法在文本消重中的应用研究[J];广西大学学报(自然科学版);2010年02期

9 沙芸;张国英;孟凡亮;;基于关键词提取的娱乐新闻文档去重算法[J];广西师范大学学报(自然科学版);2007年02期

10 程們森;安俊秀;;基于特征词群的新闻类重复网页和近似网页识别算法[J];成都信息工程学院学报;2012年04期

相关期刊论文前10条

1 樊勇;郑家恒;;基于主题的网页去重[J];电脑开发与应用;2008年04期

2 阎亚杰;;网页去重方法研究[J];电脑开发与应用;2008年08期

3 彭曙蓉,章兢,杨文忠;MD5算法在消除重复网页算法中的应用[J];电脑知识与技术;2005年29期

4 王建勇,谢正茂,雷鸣,李晓明;近似镜像网页检测算法的研究与评价[J];电子学报;2000年S1期

5 梁京章;李幼红;潘莹;叶云;;P2P资料搜索引擎的研究和设计[J];广西大学学报(自然科学版);2006年04期

6 张绍华,徐林昊,杨文柱,薛文玲,李天柱;基于样本实例的Web信息抽取[J];河北大学学报(自然科学版);2001年04期

7 王建会,胡运发,李荣陆;自适应确定摘要长度[J];计算机研究与发展;2004年03期

8 冯是聪,单松巍,龚笔宏,张志刚,李晓明;“天网”目录导航服务研究[J];计算机研究与发展;2004年04期

9 杨小平,丁浩,黄都培;基于向量空间模型的中文信息检索技术研究[J];计算机工程与应用;2003年15期

10 赵汀,孟祥武;基于LUCENEAPI的中文全文数据库设计与实现[J];计算机工程与应用;2003年20期

相关期刊论文前10条

1 陈志贤,王绍棣;SIP协议中认证注册机制的研究[J];南京邮电学院学报;2003年03期

2 王建勇,谢正茂,雷鸣,李晓明;近似镜像网页检测算法的研究与评价[J];电子学报;2000年S1期

3 付强,帅青红;PGP软件系统[J];西南民族学院学报(自然科学版);2001年04期

4 易红军;佘名高;;MD5算法与数字签名[J];计算机与数字工程;2006年05期

5 陈善利;姚滢;;网页防篡改系统的研究与设计方案[J];科技信息;2010年09期

6 徐静波;陈陶伟;;数字指纹对Web网页的双重保护[J];东华大学学报(自然科学版);2006年01期

7 林永旺,张大江,钱华林;一个基于集中管理的协作式Web缓存系统[J];计算机研究与发展;2001年01期

8 陈琳,李之棠;Web主页的监控与恢复[J];计算机工程与科学;2001年02期

9 彭曙蓉,章兢,杨文忠;MD5算法在消除重复网页算法中的应用[J];电脑知识与技术;2005年29期

10 窦立莉;;MD5技术解析及改进措施[J];科技传播;2010年16期