基于语义分析的垂直搜索网络蜘蛛

发布时间：2018-07-14 09:20

【摘要】：通用搜索引擎数据量庞大,但查询结果不够准确。分类目录正好相反。为了综合两者优势,对垂直搜索引擎进行了研究和分析。着重研究了垂直搜索引擎的核心模块——智能网络搜索蜘蛛。提出了搜索分析的新概念——规则。研究了蜘蛛中定义支持同义词的语义词典的方法,给出了按照规则分析和检索的实现方法和流程。程序需要定义多种规则,让蜘蛛依照规则进行网页爬行和信息采集。最后给出一个项目实例,证明了上述方法的可行性。
[Abstract]:The general search engine has a large amount of data, but the query results are not accurate enough. The catalog is just the opposite. In order to synthesize both advantages, the vertical search engine is studied and analyzed. The core module of vertical search engine, intelligent web search spider, is studied emphatically. A new concept of search analysis, rules, is proposed. In this paper, the method of defining semantic dictionary supporting synonyms in spider is studied, and the method and flow of analyzing and retrieving according to rules are given. Procedures need to define a variety of rules, so that spiders according to the rules for web crawling and information collection. Finally, a project example is given to prove the feasibility of the above method.
【作者单位】： 广东工业大学数字媒体系;华南理工大学广东省计算机网络重点实验室;
【基金】：国家自然科学基金项目(90412015)
【分类号】：TP391.3

【参考文献】

相关期刊论文 前2条

1 潘以锋;;基于Lucene的网站全文检索系统的开发[J];广西教育学院学报;2006年05期

2 徐春艳;网络搜索引擎分类目录检索功能研究[J];图书馆学研究;2003年07期

【共引文献】

相关期刊论文 前3条

1 邹娟;周经野;邓成;陈静;;一种面向电子邮件分类的特征值处理方法[J];计算机工程与应用;2007年18期

2 崔艳华;;我国网络信息分类体系实施方法[J];沈阳教育学院学报;2006年02期

3 崔艳华;国外网上两类分类浏览系统信息标引、用户定位及功能的比较研究[J];现代情报;2005年08期

相关硕士学位论文 前3条

1 许琦;个性化信息服务技术研究[D];浙江大学;2007年

2 叶忠杰;基于课程知识本体的智能答疑系统的研究与开发[D];浙江工业大学;2007年

3 王磊;公安网络舆情分析系统的研究[D];北京交通大学;2008年

【二级参考文献】

相关期刊论文 前7条

1 高琰,谷士文,谭立球,费耀平;基于Lucene的搜索引擎设计与实现[J];微机发展;2004年10期

2 张校乾,金玉玲,侯丽波;一种基于Lucene检索引擎的全文数据库的研究与实现[J];现代图书情报技术;2005年02期

3 欧振猛,余顺争;中文分词算法在搜索引擎应用中的研究[J];计算机工程与应用;2000年08期

4 马晓娜,杨承磊;基于面向对象的受限自然语言查询系统的设计与实现[J];计算机工程与应用;2005年10期

5 马张华,张宇萌;指南型网络分类体系初探[J];大学图书馆学报;2000年03期

6 凌美秀;关于搜索引擎当前存在的主要问题及其发展趋势的探讨[J];高校图书馆工作;2001年05期

7 邓均华;网络分类搜索引擎与传统分类法之比较分析——兼论建立我国信息组织分类标准[J];河南图书馆学刊;2001年05期

【相似文献】

相关期刊论文 前10条

1 王桂荣 ,张正卿;抗干扰曲线的一种算法[J];数值计算与计算机应用;1980年02期

2 ;数值计算与计算机应用第1卷1980年总目录[J];数值计算与计算机应用;1980年04期

3 杨廷郊;苏联计算机发展及应用简况[J];机器人;1980年02期

4 叶玉澄;关于算法集的一些特征[J];南昌大学学报(理科版);1980年01期

5 ;电子技术应用——1980年1～6期总目录[J];电子技术应用;1980年06期

6 平一梅;约瑟夫森器件的计算机应用[J];西北大学学报(自然科学版);1980年04期

7 ;“电子计算机工程与科学”1980年征订启事[J];计算机工程与科学;1980年01期

8 朱三元;徐元宙;;COBOL的变迁[J];计算机研究与发展;1980年06期

9 陈仁甫;邓名万;;计算机系统结构的动向[J];电子技术;1980年07期

10 邓清仙;曾茂朝;过介X;林宗楷;韩承德;;澳大利亚计算技术概况[J];计算机研究与发展;1980年03期

相关会议论文 前10条

1 刘祥官;刘芳;陆剑锋;李满喜;蔡漳平;卜敏;高贤成;程克友;;济钢350m~3高炉的炼铁优化专家系统[A];1999中国钢铁年会论文集（上）[C];1999年

2 周爱民;鲍爱华;徐必根;徐树岚;;我国有色矿山的主要技术成就与差距[A];第六届全国采矿学术会议论文集[C];1999年

3 蒋继穆;;“八五”期间重有色金属冶炼技术进展概述[A];中国有色金属学会第三届学术会议论文集——战略研究综述部分[C];1997年

4 谢放;;深覆盖层上面板堆石坝的分析计算[A];中国土木工程学会计算机应用分会第七届年会论文集[C];1999年

5 高洪深;;企业管理决策支持系统及其三库系统的研究[A];企业发展与系统工程——中国系统工程学会第七届年会论文集[C];1992年

6 廖先玲;张兆响;耿殿明;;对网络技术与我国中小企业发展问题的分析[A];发展的信息技术对管理的挑战——99’管理科学学术会议专辑（上）[C];1999年

7 王菲菲;;市县公共图书馆读者培训工作之我见[A];论新时期的图书馆服务——福建省图书馆学会图书馆服务学术研讨会论文集[C];1997年

8 王菲菲;;市、县公共图书馆如何面对计算机应用新趋势[A];福建省迎接21世纪的图书馆服务学术研讨会论文集[C];1998年

9 许运南;;数字图书馆:机遇与挑战[A];福建省图书馆学会“知识经济与图书馆服务”学术研讨会论文集[C];1999年

10 林士敏;;普及CAI知识 培养跨世纪人才——CAI课程开设五年回顾[A];广西高等教育改革与发展——《广西高教研究》创刊十周年（1985-1995）论文选集[C];1996年

相关博士学位论文 前10条

1 石志强;互联网中的服务质量保证[D];中国科学院软件研究所;2001年

2 姜梅;基于生物免疫系统的计算机入侵检测技术研究[D];南京航空航天大学;2001年

3 裴珂;移动计算网络中IP移动性研究[D];西安电子科技大学;2001年

4 罗莉;网络信息传播中的法律问题研究[D];中国政法大学;2001年

5 宋德社;证券监管法律制度的国际合作[D];中国社会科学院研究生院;2001年

6 王进孝;网络商务信息资源管理的理论与实践研究[D];中国科学院研究生院（文献情报中心）;2002年

7 王兴玲;基于XML的地理信息Web服务研究[D];中国科学院研究生院（遥感应用研究所）;2002年

8 张泉;基于互联网的暖通CAD开发方法的研究[D];湖南大学;2002年

9 陈共德;互联网精神交往形态分析[D];中国社会科学院研究生院;2002年

10 王卫红;我国发展电子商务策略研究[D];浙江大学;2002年

相关硕士学位论文 前10条

1 李琦;电子商务研究——兼谈B2B电子商务平台解决方案[D];天津工业大学;2000年

2 彭黎;网络与大众传播的融合[D];暨南大学;2000年

3 胡光源;Windows环境下动画制作系统[D];大连理工大学;2000年

4 周浩;一种支持互连网信息服务的Mobile Agent原型系统Jama系统的设计、开发和应用[D];北京工业大学;2000年

5 张国宏;媒介与文化[D];郑州大学;2000年

6 张莉;基于Internet的GIS（WebGIS）的研究与应用[D];西北大学;2000年

7 陈瑞丹;面向企业信息系统的可适应性建模研究与应用[D];大连理工大学;2000年

8 宋钧;对世界著名公司主页中超链接部分的语言学分析[D];对外经济贸易大学;2000年

9 史正军;电子商务企业的顾客发展策略[D];西南财经大学;2000年

10 姜淼;TF公司由通信服务业向互联网行业转型的问题研究[D];西南财经大学;2000年

，

本文编号：2121194