开源网络爬虫在垂直搜索引擎应用

发布时间：2018-05-16 22:09

  本文选题：垂直搜索 + 聚焦爬虫　； 参考：《智能计算机与应用》2015年04期

【摘要】：分析了聚焦爬虫的工作原理和关键技术,对几种开源网络爬虫的功能特点和使用范围进行比较,而后通过改造Heritrix软件的关键模块和功能接口,以抓取中国西藏网新闻为例,实现了开源爬虫软件在垂直搜索的应用。
[Abstract]:This paper analyzes the working principle and key technology of focused crawler, compares the functional characteristics and application scope of several open source web crawlers, and then, by modifying the key modules and functional interfaces of Heritrix software, takes the news of China Tibet Web as an example. The application of open source crawler software in vertical search is realized.
【作者单位】： 西藏民族大学图书馆;
【基金】：2013年教育部人文社科项目(13XZJC870001)阶段性成果之一
【分类号】：TP391.3

【参考文献】

相关期刊论文 前3条

1 刘运强;;垂直搜索引擎的研究与设计[J];计算机应用与软件;2010年07期

2 焦赛美;;网络爬虫技术的研究[J];琼州学院学报;2011年05期

3 刘伟光;郭小丹;孔繁秀;;一种基于改进向量空间模型的藏文主题网页采集方法[J];图书馆学研究;2014年16期

【共引文献】

相关期刊论文 前10条

1 黄庆双;;面向中等职业教育资源的垂直搜索引擎框架设计与研究[J];工业和信息化教育;2013年02期

2 张瑞军;姜雪娇;曾维周;阚瑷珂;涂继友;;一种基于WebGIS的网络地图数据采集方法研究[J];测绘工程;2014年02期

3 张传军;侯宇葵;;科技信息研究在科技发展战略研究中的作用[J];航天器环境工程;2012年03期

4 王兰成;朱建华;;网络信息采集中链接与主题相关性的判定研究[J];计算机应用与软件;2012年05期

5 李敏;;基于盘古分词的新闻行业垂直搜索引擎[J];丽水学院学报;2012年05期

6 舒奔;尹珂;;基于内容与链接分析的主题爬虫研究与设计[J];计算机与现代化;2014年04期

7 郭小丹;;几种开源网络爬虫功能比较[J];黑龙江科技信息;2015年25期

8 赵华;许超;;基于Web数据挖掘主流CAD软件的对比分析[J];精密制造与自动化;2015年01期

9 施Oz;王恒山;肖仰华;丁卫平;;面向主题的垂直搜索引擎系统的研究与实现[J];微电子学与计算机;2011年07期

10 杨亮;刘利伟;胡华莲;;B2C垂直搜索引擎的网络爬虫设计[J];五邑大学学报(自然科学版);2013年02期

相关硕士学位论文 前10条

1 冯叶磊;基于隐语义的中医药文献搜索引擎[D];浙江大学;2011年

2 孙华昱;Lucene在医学影像资源检索平台中的应用[D];沈阳工业大学;2011年

3 杜洪伟;软件安全领域垂直搜索引擎的优化设计与实现[D];天津大学;2010年

4 赵志军;基于分布式的垂直搜索引擎的研究与实现[D];北京信息控制研究所;2011年

5 张敏;基于WEB的学科资源垂直搜索引擎的设计与实现[D];华中师范大学;2012年

6 缪丹;面向商品比价应用的垂直搜索引擎系统设计与实现[D];西南交通大学;2012年

7 傅巍玮;分布式实时垂直搜索引擎研究与实现[D];湖南大学;2011年

8 梁淼;面向问答类网站的垂直搜索引擎的研究与实现[D];北京邮电大学;2013年

9 范红丹;基于垂直搜索引擎的结构化信息处理技术研究[D];浙江理工大学;2013年

10 黄希欣;基于Android的数码产品垂直搜索引擎研究与实现[D];昆明理工大学;2013年

【二级参考文献】

相关期刊论文 前10条

1 张裔智;赵毅;汤小斌;;MD5算法研究[J];计算机科学;2008年07期

2 周德懋;李舟军;;高性能网络爬虫:研究综述[J];计算机科学;2009年08期

3 张斌;;正则表达式在垂直搜索引擎中的应用[J];农业网络信息;2010年08期

4 汪涛,樊孝忠;主题爬虫的设计与实现[J];计算机应用;2004年S1期

5 周立柱,林玲;聚焦爬虫技术研究综述[J];计算机应用;2005年09期

6 郑国良;叶飞跃;林国俊;耿冬;;基于领域本体的主题信息采集方法[J];计算机应用;2008年12期

7 范纯龙;袁滨;余周华;徐蕾;;基于陷阱技术的网络爬虫检测[J];计算机应用;2010年07期

8 黄英铭;;Web结构挖掘及HITS算法分析[J];计算机与现代化;2007年07期

9 孙玲芳;黎维良;;基于定题爬虫的网页分类的多级判定算法[J];科学技术与工程;2009年18期

10 李广丽;张红斌;;面向计算机教育资源的垂直搜索引擎系统的设计[J];情报理论与实践;2010年05期

【相似文献】

相关期刊论文 前10条

1 胡华梁;何进;钟元生;;图书垂直搜索引擎的设计[J];计算机与现代化;2007年08期

2 郑凯明;李义杰;;垂直搜索引擎及其应用价值[J];信息技术;2008年04期

3 许鑫;黄仲清;;垂直搜索引擎应用中的若干策略探讨——以12580餐饮垂直搜索为例[J];现代图书情报技术;2009年02期

4 肖婷;;垂直搜索引擎与旅游行业探讨[J];农业网络信息;2009年11期

5 祝奕;;垂直搜索引擎的构建与应用[J];信息与电脑(理论版);2010年01期

6 张美芳;张迎春;;浅议垂直搜索引擎服务市场的商业模式[J];现代商业;2010年06期

7 焦龙;;垂直搜索引擎在旅游企业中应用的探索[J];商场现代化;2010年08期

8 赵宏中;李亚;;垂直搜索引擎应用研究[J];现代商贸工业;2010年04期

9 陈高维;邓天权;曾云磊;王维国;张龙;;基于垂直搜索引擎的旅游线路评价模型的设计[J];科技创新导报;2010年18期

10 刘小强;;二手转让及房产租售垂直搜索引擎的设计与实现[J];三门峡职业技术学院学报;2010年03期

相关会议论文 前4条

1 褚蓓蓓;刘丹;;垂直搜索引擎:搜索引擎发展方向[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年

2 林欢欢;王文杰;史忠植;;移动环境下垂直搜索引擎[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

3 王上;于海;王钲旋;;Deep Web垂直搜索引擎设计与实现[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

4 毛华扬;刘卫;;会计信息搜索方法研究[A];第十届全国会计信息化年会论文集[C];2011年

相关重要报纸文章 前10条

1 北大纵横管理顾问公司高级顾问戴晓东;“商搜”变法 垂直搜索引擎的春天还远吗？[N];中国经营报;2006年

2 王艳;垂直搜索引擎市场看好[N];中国旅游报;2000年

3 王靖;赛迪网推出垂直搜索引擎[N];人民日报海外版;2000年

4 杨国民;国内生物医药行业 垂直搜索引擎诞生[N];经济日报;2007年

5 本报记者 王晓雁;垂直搜索引擎著作权之争未破题[N];法制日报;2009年

6 电子工业出版社 董娅　工业和信息化部电子科学技术情报研究所 周峻松;用开源软件建垂直搜索引擎[N];计算机世界;2010年

7 中新;生意宝推“生意搜”搅局电子商务搜索市场[N];经理日报;2008年

8 源讯 编译;搜索巨头的下一步[N];计算机世界;2006年

9 赛迪网 方刚;不只是网站才垂直[N];中国计算机报;2000年

10 ;沱沱网“亮剑”国际消费电子博览会 专业服务带来B2B差异化变革[N];中国贸易报;2007年

相关博士学位论文 前5条

1 王晔;垂直搜索引擎若干问题研究[D];复旦大学;2011年

2 吴羽;面向时间敏感对象的垂直搜索引擎关键技术研究[D];浙江大学;2011年

3 胡宜敏;农业垂直搜索引擎语义化若干问题的研究与实现[D];中国科学技术大学;2012年

4 陈竹敏;面向垂直搜索引擎的主题爬行技术研究[D];山东大学;2008年

5 王桂红;农产品市场价格web信息分析方法研究[D];沈阳农业大学;2013年

相关硕士学位论文 前10条

1 海涛;垂直搜索引擎数据采集技术的研究与实现[D];华北电力大学（北京）;2008年

2 崔诗远;基于垂直搜索引擎的旅行社网络营销[D];青岛大学;2009年

3 翟晓玲;面向学科的基础教育资源垂直搜索引擎的研究与实现[D];东北师范大学;2009年

4 王嘉杰;面向博客领域的垂直搜索引擎的研究与实现[D];北京邮电大学;2009年

5 刘明君;垂直搜索引擎传播学特征及应用研究[D];华中科技大学;2008年

6 黎斌;可扩展分布式垂直搜索引擎设计与实现研究[D];国防科学技术大学;2008年

7 李春燕;企业信息垂直搜索引擎的研究与实现[D];中国地质大学（北京）;2010年

8 石占伟;垃圾页面检测及其在垂直搜索引擎中的应用[D];燕山大学;2010年

9 张楠;面向汽车主题的垂直搜索引擎研究与实现[D];西南交通大学;2010年

10 陈向东;宠物用品垂直搜索引擎研究与设计[D];西北农林科技大学;2010年

，

本文编号：1898614