近似镜像检测算法在文本消重中的应用研究

发布时间：2018-12-20 11:07

【摘要】：文本消重是搜索引擎中的一项重要技术,能将搜集到的网页中的近似镜像网页去掉,而后再建索引提供服务,这样用户查询时就不会出现大量内容重复的网页。通过对近似镜像文本检测算法的分析和研究,提出了应用MD5指纹的近似镜像算法对文本文档进行消重处理的方法,并将该算法在基于P2PKM的学习支持平台上的索引模块中作了测试。测试结果表明,这种算法的应用,知识包中的重复文档有了明显的减少。
[Abstract]:Text elimination is an important technology in search engine. It can remove the approximate mirror pages from the collected pages, and then build index to provide services, so that users do not have a lot of duplicate pages when querying. Based on the analysis and research of approximate mirroring text detection algorithm, an approximate image algorithm based on MD5 fingerprint is proposed to eliminate the reprocessing of text document. The algorithm is tested in the index module of learning support platform based on P2PKM. The test results show that the application of this algorithm can reduce the duplicate document in the knowledge package.
【作者单位】： 广西大学计算机与电子信息学院;湖南师范大学计算机教学部;
【基金】：湖南省自然科学基金项目(06JJ50105)
【分类号】：TP391.3

【参考文献】

相关期刊论文 前5条

1 王建勇,谢正茂,雷鸣,李晓明;近似镜像网页检测算法的研究与评价[J];电子学报;2000年S1期

2 梁京章;李幼红;潘莹;叶云;;P2P资料搜索引擎的研究和设计[J];广西大学学报(自然科学版);2006年04期

3 赵汀,孟祥武;基于LUCENEAPI的中文全文数据库设计与实现[J];计算机工程与应用;2003年20期

4 张明辉,王成耀,宋威;一种基于段落的分段签名近似镜像新算法[J];情报杂志;2005年01期

5 叶云;梁京章;;基于Lucene的搜索引擎在远程教育平台中的应用[J];现代计算机;2007年04期

【共引文献】

相关期刊论文 前10条

1 雷鸣,王建勇,赵江华,单松巍,陈葆珏;第三代搜索引擎与天网二期[J];北京大学学报(自然科学版);2001年05期

2 樊勇;郑家恒;;基于主题的网页去重[J];电脑开发与应用;2008年04期

3 温艳鸿;;基于lucene的文件搜索引擎的设计与扩展[J];福建电脑;2007年08期

4 韩正服;杨喜权;张一鸣;丛荣华;;基于特征码的大规模XML文档去重研究[J];中国管理信息化(综合版);2006年07期

5 郭艾侠;张连宽;吴小红;潘春华;;基于P2P网络中信誉机制的安全电子交易协议[J];广西大学学报(自然科学版);2008年04期

6 王正;陆余良;刘金红;施凡;;基于Lucene的互联网文献信息检索系统的研究[J];安徽大学学报(自然科学版);2009年05期

7 刘磊安;符志强;;基于Lucene.net网络爬虫的设计与实现[J];电脑知识与技术;2010年08期

8 李晓明,朱家稷,闫宏飞;互联网上主题信息的一种收集与处理模型及其应用[J];计算机研究与发展;2003年12期

9 张骏;郭慧;;基于文件指纹的Web文本挖掘[J];计算机与信息技术;2009年05期

10 宋佳;诸云强;刘润达;;一种基于Lucene改进的全文检索工具包[J];计算机工程与应用;2008年04期

相关博士学位论文 前3条

1 李卫;领域知识的获取[D];北京邮电大学;2008年

2 詹川;反垃圾邮件技术的研究[D];电子科技大学;2005年

3 程军;基于统计的文本分类技术研究[D];中国科学院研究生院（文献情报中心）;2003年

相关硕士学位论文 前10条

1 谭鸣;基于Lucene技术的垂直搜索引擎的研究与实现[D];江西理工大学;2009年

2 杨永毅;基于Lucene的二手汽车交易信息垂直搜索引擎的研究与实现[D];重庆大学;2009年

3 杨娜;基于lucene的轻量级全文检索系统模型研究[D];郑州大学;2009年

4 辛聪;基于特征码的大规模中文网页并行去重方法[D];哈尔滨工业大学;2008年

5 马志强;校园网搜索引擎核心技术—中文自动分词[D];北京机械工业学院;2006年

6 翁云鹤;基于自然语言处理的网页去重关键技术研究[D];北京邮电大学;2009年

7 王岩;基于本体的数字图书馆的检索方法的研究[D];哈尔滨工程大学;2008年

8 刘峰;垂直搜索中的数据清洗和排序算法研究[D];中国科学技术大学;2009年

9 刘运佳;基于Lucene和Heririx构建搜索引擎的研究和示例实现[D];电子科技大学;2008年

10 魏丽霞;基于文本结构的近似镜像网页去重[D];山西大学;2008年

【二级参考文献】

相关期刊论文 前4条

1 王建勇,谢正茂,雷鸣,李晓明;近似镜像网页检测算法的研究与评价[J];电子学报;2000年S1期

2 郎小伟;王申康;;基于Lucene的全文检索系统研究与开发[J];计算机工程;2006年04期

3 孙西全;马瑞芳;李燕灵;;基于Lucene的信息检索的研究与应用[J];情报理论与实践;2006年01期

4 向晖;郭一平;王亮;;基于Lucene的中文字典分词模块的设计与实现[J];现代图书情报技术;2006年08期

【相似文献】

相关期刊论文 前10条

1 王建勇,谢正茂,雷鸣,李晓明;近似镜像网页检测算法的研究与评价[J];电子学报;2000年S1期

2 张明辉,王成耀,宋威;一种基于段落的分段签名近似镜像新算法[J];情报杂志;2005年01期

3 胡燕;也谈消重[J];中国档案;1997年03期

4 杨文忠;彭曙蓉;;简报近似网页的一种检测算法[J];微计算机应用;2006年01期

5 李传目;WEB上用户口令的安全传输[J];集美大学学报(自然科学版);2002年04期

6 高劲松，，孟令奎;基于神经网络的关系消重和排序运算[J];华中师范大学学报(自然科学版);1994年03期

7 李家国,李建华,章 程;一种Web站点网页资源保护设计方案[J];计算机工程;2002年04期

8 于泠,陈波;基于数字指纹的网页监控与恢复系统[J];计算机工程与应用;2002年02期

9 王贵竹,李津生,洪佩琳;MD5报文摘要算法与IPv6认证[J];小型微型计算机系统;2001年01期

10 徐小龙,王汝传,邓玉龙;用MD5技术构建高安全性电子商务系统[J];南京邮电学院学报;2002年04期

相关会议论文 前10条

1 雍信阳;陈怀琛;;一种眼动信号的检测算法[A];第一届全国人—机—环境系统工程学术会议论文集[C];1993年

2 刘健;董超华;朱小祥;;FY—1C资料在云顶粒子热力学相态分析中的应用研究[A];第五届全国优秀青年气象科技工作者学术研讨会学术论文集[C];2002年

3 刘永斌;阎宁;封锦华;;第八部分 应用研究 康复与人-机-环境系统工程[A];第一届全国人—机—环境系统工程学术会议论文集[C];1993年

4 孙文强;孙文力;夏国忠;;船载自动识别系统在未来航海中的应用研究[A];2001航海技术现状与发展趋势论文集[C];2001年

5 周玉林;;镝铁合金粉的应用研究[A];第九届中国稀土企业家联谊会会议论文集[C];2002年

6 刘建华;曾文宪;;城镇基准地价评估中楼面价的应用研究[A];新世纪土地问题研究[C];2002年

7 韦燕飞;潘润秋;;“3S”技术在西部土地监察中的应用研究[A];认识地理过程 关注人类家园——中国地理学会2003年学术年会文集[C];2003年

8 姚志明;;上游站水位法原理浅析及应用研究[A];中国水利学会2003学术年会论文集[C];2003年

9 章之蓉;谢瑞生;李俊;;声驯化鱼应用研究[A];首届粤港生物物理学术研讨会论文集[C];1999年

10 戴晓阳;姚树桥;蔡太生;杨坚;;NEO-PI-R在中国的应用研究[A];第九届全国心理学学术会议文摘选集[C];2001年

相关重要报纸文章 前10条

1 陈智罡;算法复杂度的分析方法及其运用[N];中国电脑教育报;2002年

2 范德生 邓亚玲;守住网页的秘密[N];电脑报;2005年

3 本报记者 陈晓晟;网游概念股走势平稳 网页游戏或成新亮点[N];通信信息报;2008年

4 本报记者 杨阳;“我要玩”：网页游戏集中营[N];经济观察报;2009年

5 商报记者 金朝力;网页游戏繁华之后难掩衰落[N];北京商报;2009年

6 本报记者 廖庆升;网游巨头纷纷“涉水” 网页游戏面临洗牌[N];通信信息报;2009年

7 刘思齐;网页游戏的春天即将来临或将赶超大型网游[N];中国高新技术产业导报;2009年

8 许冰洲　鞠金华;全国首个网页游戏孵化器欲成网页游戏产业基地[N];嘉兴日报;2009年

9 商报记者 李鹏;网页游戏:成长的烦恼[N];中国图书商报;2009年

10 本报记者 李忠存;网页游戏鱼龙混杂 “偷菜”模式能否成救命稻草？[N];中国计算机报;2009年

相关博士学位论文 前10条

1 种劲松;合成孔径雷达图像舰船目标检测算法与应用研究[D];中国科学院研究生院（电子学研究所）;2002年

2 赵慧;MIMO系统中信号检测技术的研究[D];北京邮电大学;2006年

3 谭德庆;多维博弈及应用研究[D];西南交通大学;2004年

4 罗振东;MIMO无线通信系统的关键理论与技术研究[D];北京邮电大学;2006年

5 许联锋;水气两相流动的数字图像测量方法及应用研究[D];西安理工大学;2004年

6 华锋;破碎波统计及应用研究[D];中国科学院研究生院（海洋研究所）;2005年

7 王勇;矩阵变换器的空间矢量调制、系统集成及应用研究[D];浙江大学;2005年

8 李艳菊;元宝枫繁育技术与应用研究[D];北京林业大学;2005年

9 李强;放射状土壤杆菌M-503产生物絮凝剂的制备、纯化及应用研究[D];山东大学;2005年

10 符朝兴;车辆弹性元件振动冲击波动机理及其应用研究[D];大连交通大学;2005年

相关硕士学位论文 前10条

1 谢寒生;基于视频技术的车辆违章检测算法研究与设计[D];华中科技大学;2004年

2 赵雪梅;电脑音乐软件在小学音乐教学中的应用研究[D];东北师范大学;2004年

3 王波;数字校园的实现与应用研究[D];大连理工大学;2005年

4 涂涛;嵌入式浏览器网页排版技术的研究与实现[D];华中科技大学;2004年

5 陈国强;有限元逆算法在汽车覆盖件冲压成形数值模拟中的应用研究[D];华中科技大学;2004年

6 符鹤;基于系统调用的入侵检测实现与评估[D];中南大学;2005年

7 成玉娟;液体中小目标检测算法研究及应用[D];浙江大学;2002年

8 刘娜;基于脉搏波的血压和心血管状态检测算法的研究[D];浙江大学;2004年

9 罗晓鸣;基于日志信息统计（异常）的检测算法设计[D];电子科技大学;2004年

10 胡卓颖;专题型网页搜集器关键算法的研究及实现[D];江西师范大学;2005年

本文编号：2387910