垂直搜索引擎爬虫系统DIPRE算法及改进

发布时间：2019-07-09 06:36

【摘要】：针对垂直搜索引擎中精确抽取网页中特定字段的问题,对DIPRE算法进行了研究和改进。阐述了DIPRE算法在垂直搜索引擎中的重要作用,探讨了DIPRE算法在抽取复杂结构网页时的不足,并提出了改进,包括种子定位方式,将单模匹配扩展成多模匹配并引入定位索引,再根据已有技术对改进后的算法进行了实验验证。结果表明,改进后的算法在精度和效率上都符合预期。
[Abstract]:In order to solve the problem of accurately extracting specific fields from web pages in vertical search engine, the DIPRE algorithm is studied and improved. This paper expounds the important role of DIPRE algorithm in vertical search engine, probes into the shortcomings of DIPRE algorithm in extracting complex structure web pages, and puts forward some improvements, including seed location mode, which extends single mode matching to multimode matching and introduces location index, and then verifies the improved algorithm by experiments according to the existing techniques. The results show that the accuracy and efficiency of the improved algorithm are in line with expectations.
【作者单位】： 武汉设计工程学院信息工程学院;
【分类号】：TP391.3

【相似文献】

相关期刊论文 前10条

1 胡华梁;何进;钟元生;;图书垂直搜索引擎的设计[J];计算机与现代化;2007年08期

2 郑凯明;李义杰;;垂直搜索引擎及其应用价值[J];信息技术;2008年04期

3 毕建涛;霍云福;;垂直搜索引擎赢利模式探讨[J];大连大学学报;2008年03期

4 许鑫;黄仲清;;垂直搜索引擎应用中的若干策略探讨——以12580餐饮垂直搜索为例[J];现代图书情报技术;2009年02期

5 孔祥春;李义杰;郑凯明;;垂直搜索引擎应用研究[J];计算机系统应用;2009年07期

6 杨皖苏;闫冬;;垂直搜索引擎发展策略探讨[J];商业时代;2009年23期

7 王宁;毛垣生;;水平和垂直搜索引擎的比较与应用实践[J];图书馆工作与研究;2009年12期

8 祝奕;;垂直搜索引擎的构建与应用[J];信息与电脑(理论版);2010年01期

9 张美芳;张迎春;;浅议垂直搜索引擎服务市场的商业模式[J];现代商业;2010年06期

10 焦龙;;垂直搜索引擎在旅游企业中应用的探索[J];商场现代化;2010年08期

相关会议论文 前4条

1 褚蓓蓓;刘丹;;垂直搜索引擎:搜索引擎发展方向[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年

2 林欢欢;王文杰;史忠植;;移动环境下垂直搜索引擎[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

3 王上;于海;王钲旋;;Deep Web垂直搜索引擎设计与实现[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

4 毛华扬;刘卫;;会计信息搜索方法研究[A];第十届全国会计信息化年会论文集[C];2011年

相关重要报纸文章 前1条

1 电子工业出版社 董娅　工业和信息化部电子科学技术情报研究所 周峻松;用开源软件建垂直搜索引擎[N];计算机世界;2010年

相关博士学位论文 前3条

1 王晔;垂直搜索引擎若干问题研究[D];复旦大学;2011年

2 胡宜敏;农业垂直搜索引擎语义化若干问题的研究与实现[D];中国科学技术大学;2012年

3 王桂红;农产品市场价格web信息分析方法研究[D];沈阳农业大学;2013年

相关硕士学位论文 前10条

1 韩冰;垂直搜索引擎个性化推荐研究与应用[D];大连理工大学;2009年

2 关小敏;垂直搜索引擎的研究与实现[D];北京邮电大学;2012年

3 吴燕玮;基于行业知识垂直搜索引擎的研究与实现[D];北京邮电大学;2012年

4 黄兴财;大学生职位垂直c\索引擎的设计与实现[D];电子科技大学;2015年

5 陈龙飞;垂直搜索引擎在烟草行业的研究与应用[D];浙江理工大学;2016年

6 林祖新;视频垂直搜索引擎中信息抽取与存储系统的设计与实现[D];北京邮电大学;2013年

7 李广丽;垂直搜索引擎的研究与设计[D];华东交通大学;2008年

8 谢侨;一个基于二次过滤的垂直搜索引擎的设计与实现[D];暨南大学;2008年

9 陈宏晓;面向技术信息领域垂直搜索引擎的设计与实现[D];天津大学;2007年

10 张小莉;面向丝绸领域的垂直搜索引擎关键算法研究[D];苏州大学;2008年

，

本文编号：2511934