化学主题网络爬虫的设计和实现

发布时间：2018-11-05 07:13

【摘要】：由于通用搜索引擎检索返回的结果过多、主题相关性不强以及随着人们对提供的各项信息服务的要求越来越高,基于整个Web的信息采集越来越力不从心。同时它无法及时地采集到足够的最新的Web信息,也不能满足人们日益增长的个性化需求。本文通过把Internet化学资源导航系统所积累的化学知识与搜索引擎的自动采集技术相结合展开了对化学主题网络爬虫开发的研究。结果表明,基于Widrow-Hoff分类器的化学主题网络爬虫能有效的采集化学相关的网页。
[Abstract]:Due to too many results returned by the general search engine, the relevance of the topic is not strong, and with the increasing demand for the information services provided by the people, the information collection based on the whole Web is becoming more and more difficult. At the same time, it can not collect enough latest Web information in time, nor can it meet the increasing demand of personalization. By combining the chemical knowledge accumulated by Internet chemical resource navigation system with the automatic acquisition technology of search engine, the research on the development of chemical subject web crawler is carried out in this paper. The results show that the chemical-themed web crawler based on Widrow-Hoff classifier can effectively collect chemical-related web pages.
【作者单位】： 中国科学院过程工程所多相实验室 中国科学院过程工程所多相实验室 中国科学院过程工程所多相实验室
【基金】：国家自然科学基金资助项目(编号:20273076)
【分类号】：TP393.092

【参考文献】

相关期刊论文 前1条

1 李晓霞,杨章远,许志宏;Internet化学资源的发展状况与展望[J];计算机与应用化学;1999年05期

【共引文献】

相关期刊论文 前10条

1 黄苏华,李晓霞,郭力,刘宗红,杨章远;基于数据库的Internet化学资源导航信息管理与自动发布[J];计算机与应用化学;2000年03期

2 贾红阳,郭力,李晓霞,杨章远,姜林,陈晓青;Web石油化工信息服务管理系统的研究[J];计算机与应用化学;2000年04期

3 邵学广,蔡文生;化学信息学及其课程建设[J];大学化学;2002年03期

4 邵学广;化学信息学网络化教学系统的研制[J];化学教育;2001年11期

5 默丽萍,张占辉,蒋兰宏;Internet网上的化学化工资源[J];河北师范大学学报(自然科学版);2002年01期

6 杨迎春,徐朝昆;Internet在环境科学中的应用[J];黑龙江环境通报;2002年03期

7 郭力,李晓霞,杨章远,许志宏;化学化工虚拟社区的研究与设计[J];计算机与应用化学;1999年06期

8 贾红阳,郭力,李晓霞,杨章远,姜林,陈晓青;石油化工信息系统Web权限管理的研究[J];计算机与应用化学;2001年02期

9 温成涛,张述伟;MATLAB化工单元操作工具箱的开发[J];计算机与应用化学;2001年03期

10 肖信,袁中直,李星华,何广平;虚拟社区模式的化学专业网站设计[J];计算机与应用化学;2002年04期

相关硕士学位论文 前3条

1 朱美娜;基于数据库的化学专业化网站发布系统研究[D];青岛大学;2002年

2 钟明;基于网络的化学积件系统的开发与研究[D];湖南师范大学;2003年

3 林世威;大学化学混合学习初探[D];内蒙古师范大学;2006年

【相似文献】

相关期刊论文 前10条

1 汪涛,樊孝忠;主题爬虫的设计与实现[J];计算机应用;2004年S1期

2 夏诏杰;梁春燕;郭力;;化学主题网络爬虫的设计和实现[J];计算机工程与应用;2006年10期

3 张磊;林坤辉;周昌乐;毛红朝;;基于图像内容检索的主题爬虫设计方法[J];广西师范大学学报(自然科学版);2007年02期

4 赵燕;陈晓云;莫明辉;汤勇;;基于用户群的智能主题爬虫[J];广西师范大学学报(自然科学版);2007年02期

5 刘国靖;康丽;罗长寿;;基于遗传算法的主题爬虫策略[J];计算机应用;2007年S2期

6 杨贞;杜习英;;基于本体的主题爬虫的设计与实现[J];科技情报开发与经济;2008年02期

7 蒋宗礼;徐学可;李帅;;一种基于超链接引导的主题搜索的主题敏感爬行方法[J];计算机应用;2008年04期

8 刘汉兴;刘财兴;;主题爬虫的搜索策略研究[J];计算机工程与设计;2008年12期

9 徐诗亮;;一种基于概念空间的主题爬虫设计方法[J];福建电脑;2008年10期

10 余静;刘万军;;基于网页分块的主题爬虫研究[J];计算机与信息技术;2008年10期

相关硕士学位论文 前6条

1 王斐;基于增量反馈和自适应机制的主题爬虫系统的设计与实现[D];南京理工大学;2005年

2 刘玮玮;搜索引擎中主题爬虫的研究与实现[D];南京理工大学;2006年

3 蒋科;基于领域概念定制的主题爬虫系统的设计与实现[D];西安电子科技大学;2007年

4 苏晓珂;基于Nutch的主题爬虫研究与实现[D];昆明理工大学;2007年

5 李京京;主题爬虫的关键技术研究[D];吉林大学;2008年

6 杨贞;基于本体的主题爬虫的设计与实现[D];合肥工业大学;2008年

，

本文编号：2311305