基于网页内容和链接价值的相关度方法的实现

发布时间：2018-08-22 07:24

【摘要】：专业搜索引擎提供特定主题的信息检索服务,是新一代搜索引擎的发展方向之一,而网页主题相关度分析是专搜索引擎的核心技术,它指导着robot进行有价值的搜索,专门搜索与主题相关的页面;提出一种综合的网页主题相关度析方法,方法同时对网页内容价值和链接价值进行了考察,从而保证了robot搜索的网页与主题有着较高的相关度;在网内容价值评价时,对传统的方法进行了改进,新的方法能高好的实现。该方法也用于服装行业的搜索引擎,效果明显。
[Abstract]:Professional search engines provide information retrieval services on specific topics, which is one of the developing directions of the new generation of search engines. The analysis of the relevance of web pages is the core technology of the specialized search engines, which guides the robot to carry out valuable searches. This paper presents a comprehensive method for analyzing the relevance of web pages, which makes an investigation of both the value of web pages and the value of links, so as to ensure that the web pages searched by robot have a high degree of relevance to the topics. When evaluating the value of web content, the traditional method is improved, and the new method can be realized well. This method is also used in the clothing industry search engine, the effect is obvious.
【作者单位】： 上海大学计算机工程与科学学院;
【分类号】：TP393.092

【参考文献】

相关期刊论文 前3条

1 黄德才;戚华春;;PageRank算法研究[J];计算机工程;2006年04期

2 汪涛,樊孝忠;主题爬虫的设计与实现[J];计算机应用;2004年S1期

3 吴安清;张颖江;涂军;;主题搜索ROBOT综合爬行策略的研究[J];武汉理工大学学报;2006年02期

【共引文献】

相关期刊论文 前8条

1 高磊;徐东平;;启发式算法在搜索引擎的应用[J];电脑知识与技术(学术交流);2007年02期

2 邱均平,张洋;网络信息计量学综述[J];高校图书馆工作;2005年01期

3 耿桦;李媛;朱炜;潘金贵;;Web搜索中的数据挖掘技术研究[J];计算机科学;2005年04期

4 杨沅钊,吴薇,喻晓莉,杨国才;搜索引擎排名改进算法分析[J];农业网络信息;2005年02期

5 汪涛,樊孝忠;链接分析对主题爬虫的改进[J];计算机应用;2004年S2期

6 吴安清;张颖江;涂军;;主题搜索ROBOT综合爬行策略的研究[J];武汉理工大学学报;2006年02期

7 刘洁清;吴京慧;;面向主题的个人实时搜索引擎的设计与实现[J];现代图书情报技术;2006年05期

8 姜杰,杨晓江;专业搜索引擎分布式Robot的设计研究[J];中国电化教育;2005年06期

相关博士学位论文 前2条

1 王树梅;信息检索相关技术研究[D];南京理工大学;2007年

2 李强;基于本体论的个性化和社会化元搜索引擎的研究[D];浙江大学;2006年

相关硕士学位论文 前10条

1 董志勇;Web信息检索中基于超链接的网页评估算法的研究[D];河海大学;2004年

2 王春山;具有智能代理的商业智能系统研究[D];河北农业大学;2004年

3 陈杰;主题搜索引擎中网络蜘蛛搜索策略研究[D];浙江大学;2006年

4 谢若其;基于主题的WEB信息提取及智能搜索技术研究与实现[D];电子科技大学;2007年

5 张泊平;基于网页结构相关性预取技术研究[D];郑州大学;2006年

6 药成刚;基于链接结构的中文网页排序算法研究[D];哈尔滨工业大学;2006年

7 宋玲玲;网络搜索引擎中检索器检索方法研究[D];中国石油大学;2007年

8 张聪;基于HITS的链接分析算法的研究与改进[D];大连理工大学;2007年

9 姚琪;垂直搜索引擎系统的研究与设计[D];上海交通大学;2008年

10 王晓华;基于内容的搜索引擎技术研究及其应用[D];郑州大学;2005年

【二级参考文献】

相关期刊论文 前2条

1 曾春,邢春晓,周立柱;基于内容过滤的个性化搜索算法[J];软件学报;2003年05期

2 马辉民;李卫华;吴良元;;VSM在中文文本聚类中的应用及实证分析[J];武汉理工大学学报(信息与管理工程版);2006年04期

相关会议论文 前1条

1 李盛韬;吴丽辉;于满泉;潘文锋;余智华;王斌;程学旗;;主题Web信息采集的研究与设计[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年

【相似文献】

相关期刊论文 前10条

1 黄向东;;如何让网站热门?[J];软件;1998年12期

2 曾福兴;搜索引擎[J];情报学报;1999年S2期

3 杜国方;提高上网效率的几个实用技巧[J];图书馆建设;1999年06期

4 黄苏宁;中文搜索引擎的发展[J];中国信息导报;1999年12期

5 黄勇;另类搜索器开启新视窗[J];网络与信息;1999年09期

6 夏旭;寻医找药网上行──中文医学主题指南和搜索引擎概览[J];网络与信息;1999年11期

7 海涌;计算机和互联网在现代医学中的应用[J];总装备部医学学报;1999年04期

8 王玉波;专业搜索引擎的开发研究[J];情报科学;2000年12期

9 曹东,韩全惜,庄军;运用情报检索语言理论与方法完善搜索引擎的功能[J];情报理论与实践;2000年01期

10 郝小花;用搜索引擎在万维网上检索信息[J];情报理论与实践;2000年04期

相关会议论文 前10条

1 周一平;;利用Internet收集药理学资料(摘要)[A];中国药理学会第九届制药工业药理学术会议论文摘要汇编[C];2000年

2 贺瑞芳;钟绍春;程晓春;;教学资源的个性化搜索引擎研究[A];第二届全国学生计算语言学研讨会论文集[C];2004年

3 朱凯;;网络资源的应用[A];中华预防医学会预防医学情报专业委员会第十六届学术交流会论文集[C];2005年

4 王宁;王敏;冷荣新;;谈互联网上生物医学信息资源的获取[A];中华预防医学会预防医学情报专业委员会第十六届学术交流会论文集[C];2005年

5 高莉;;医学参考文献的查询与应用[A];中华预防医学会预防医学情报专业委员会第十六届学术交流会论文集[C];2005年

6 杨伟玲;;论网络资源建设与信息资源共享[A];山东省图书馆学会第十二次科学讨论会论文集[C];2005年

7 孔令华;;加快网络资源建设促进服务创新[A];山东省图书馆学会第十二次科学讨论会论文集[C];2005年

8 韩晓军;;医学文献的查询与应用[A];应对突发公共卫生事件论坛论文集[C];2005年

9 林海霞;原福永;陈金森;;主题网络蜘蛛搜索策略贪婪性解决方法[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

10 戴黎春;;Internet上的花式纱线资源[A];第十三届全国花式纱线及其织物技术进步研讨会论文集[C];2006年

相关重要报纸文章 前10条

1 百度公司CEO 李彦宏;为搜索引擎写答卷[N];中国计算机报;2000年

2 搜索引擎9238;英文搜索四当家[N];中国计算机报;2001年

3 吕品;电子商务借模式创新回暖[N];文汇报;2003年

4 本报记者 宋时飞;中化搜：打造行业高速发展引擎[N];中国经济导报;2004年

5 雅婷;国内搜索引擎：理智中前行[N];光明日报;2004年

6 本报记者 程莉莉 实习生 张明明;搜索引擎的本土之惑[N];工人日报;2004年

7 本报记者 张克旭;中国化工网“化工”和“网络”的互动发展[N];中国计算机报;2004年

8 巫宁;旅游专业搜索引擎风生水起[N];中国旅游报;2005年

9 早报记者 曹敏洁;东方网打造网上“销品茂”[N];东方早报;2005年

10 薇薇;中国“马”为何给美国“虎”洗脸[N];电脑报;2005年

相关博士学位论文 前1条

1 彭涛;面向专业搜索引擎的主题爬行技术研究[D];吉林大学;2007年

相关硕士学位论文 前10条

1 李炎茗;元搜索引擎的现状研究与改进设计[D];华中师范大学;2002年

2 李学勇;基于巩固学习的网络蜘蛛搜索策略研究[D];湖南大学;2003年

3 刘峰;通用中英文专业搜索引擎技术的研究及应用[D];大连理工大学;2004年

4 史鹏辉;专业服务网站搜索引擎的设计与实现[D];大连理工大学;2004年

5 许彦彬;基于Java技术的生物资源专业搜索引擎的研究与开发[D];昆明理工大学;2004年

6 吴东华;Web信息获取技术研究[D];南京理工大学;2004年

7 张云秋;循证医学信息资源保障的理论与实践研究[D];东北师范大学;2004年

8 牛晓宏;知识产权搜索引擎分析与设计[D];黑龙江大学;2004年

9 寿周翔;专业搜索引擎的研究与设计[D];浙江大学;2005年

10 王斐;基于增量反馈和自适应机制的主题爬虫系统的设计与实现[D];南京理工大学;2005年

，

本文编号：2196390