网络商品信息搜索与抽取技术应用研究

发布时间：2019-07-11 19:03

【摘要】：随着互联网的发展，网络购物逐渐的被人们所接受，电子商务也快速的发展起来。然而面临网络中丰富的商品，如何从中找到满意的商品信息，，成为目前网络用户所面临的问题之一。 网页信息搜索与抽取技术是解决该问题的重要途径之一，可细分为网页搜索和信息抽取。网页搜索是指从互联网中搜索网页，目前主要的网页搜索技术有目录搜索、全文搜索以及元搜索。信息抽取是指对网页中的信息进行结构化处理，输出结构化信息，可以分为基于自然语言、包装器、本体、HTML结构和Web查询五种信息抽取技术。现有的网络商品信息搜索工具如比价网、爱购物、比价助手等采用人工进行规则抽取，自动化差。 本文对网络商品信息搜索和抽取技术进行了深入的研究和探讨，设计了一种“双层”元搜索引擎，并针对元搜索技术的特点对FindDR信息抽取算法进行了改进。主要工作如下： 1）提出了一种“双层”元搜索引擎。该方法通过百度搜索引擎搜索购物网站，提取其中包含的购物网站站内引擎信息，并以这些搜索引擎为子引擎实现对网络商品搜索。通过“双层”元搜索引擎可以实现对子搜索引擎的自动维护。 2）对FindDR算法进行改进。FindDR算法是一种适用于对具有重复结构网页进行信息抽取的信息抽取算法，本文通过元搜索引擎搜索结构网页与搜索词的对应关系对FindDR算法进行改进，提高了算法的运行效率。 3）将以上设计用JAVA语言实现并运用在一款网络比价软件的开发中,通过实际的大量网络商品搜索实验,验证了系统可以自动添加和维护子引擎并对商品信息进行高效抽取。
【学位授予单位】：河北工业大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：TP391.3;F713.36

【参考文献】

相关期刊论文 前10条

1 张彦超;刘云;李勇;沈波;;基于自动生成模板的Web信息抽取技术[J];北京交通大学学报;2009年05期

2 程文涛;师雪霖;;以本体为指导的Web网页信息抽取方法[J];北京化工大学学报(自然科学版);2011年04期

3 杨成;;基于XML的网页信息提取系统的研究与设计[J];电脑知识与技术;2009年26期

4 胡瑜;王立志;;基于HTML结构特征的网页信息提取[J];辽宁石油化工大学学报;2009年03期

5 苏国荣;杨岳湘;邓劲生;;一种去除重复URL的算法[J];广西师范大学学报(自然科学版);2010年01期

6 周德懋;李舟军;;高性能网络爬虫:研究综述[J];计算机科学;2009年08期

7 顾韵华;田伟;;基于DOM模型扩展的Web信息提取[J];计算机科学;2009年11期

8 胡仁龙;袁春风;武港山;濮小佳;;基于重复模式的自动Web信息抽取[J];计算机工程;2008年22期

9 方宏;吕太之;;动态网页信息提取技术在求职搜索中的应用[J];计算机工程;2009年24期

10 梁正友;张林才;;基于Rabin指纹方法的URL去重算法[J];计算机应用;2008年S2期

相关会议论文 前1条

1 吴倩;杨逍;张兆心;;基于视觉特征的网页信息提取[A];第六届全国信息检索学术会议论文集[C];2010年

相关博士学位论文 前1条

1 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年

相关硕士学位论文 前10条

1 施洋;模板独立的网页信息抽取研究[D];复旦大学;2011年

2 王晓伟;垂直搜索引擎若干关键技术的研究[D];浙江大学;2007年

3 王琳琳;基于HTML Parser的Web信息提取技术[D];北京邮电大学;2007年

4 李猛;基于DOM的Web信息抽取技术的研究与实现[D];大连理工大学;2008年

5 谈佳宁;半监督网页分类及其在目录式搜索引擎中的应用研究[D];江苏大学;2008年

6 侯航;基于URL分析的主题网络机器人研究[D];电子科技大学;2009年

7 金岳富;Web信息采集与信息抽取技术的研究[D];哈尔滨理工大学;2009年

8 丁兴旺;面向网络爬虫的海量URL数据管理技术研究[D];哈尔滨工业大学;2008年

9 李亮;基于Lucene和Heritrix的职位垂直搜索引擎的设计与实现[D];中国地质大学（北京）;2010年

10 王花;Web信息抽取技术研究[D];西北农林科技大学;2010年

本文编号：2513402