B2C垂直搜索引擎的网络爬虫设计

发布时间：2017-10-19 05:42

  本文关键词：B2C垂直搜索引擎的网络爬虫设计

  更多相关文章： 网络爬虫 垂直搜索 BC Beautiful-Soup

【摘要】：开发了基于Beautiful-Soup信息提取的B2C类垂直搜索引擎爬虫系统.测试结果表明:该爬虫的抓取有效率实际达到95%以上,满足商业应用的要求.
【作者单位】： 五邑大学计算机学院;
【关键词】： 网络爬虫 垂直搜索 BC Beautiful-Soup
【分类号】：TP393.092
【正文快照】： 随着垂直搜索的蓬勃发展,基于特定主题的网络爬虫成为当前的研究热点.同时,国内B2C[1]网站发展迅速,面向B2C领域的垂直搜索成为垂直搜索领域的重要研究方向.本文针对B2C类网站的特点,结合Beautiful-Soup框架设计并实现相应的网络爬虫系统.1基本原理网络爬虫(Web Crawler),又

【参考文献】

中国期刊全文数据库 前7条

1 孙立伟;何国辉;吴礼发;;网络爬虫技术的研究[J];电脑知识与技术;2010年15期

2 杨坚争;李朝平;;垂直搜索引擎及其应用[J];电子商务;2006年10期

3 刘运强;;垂直搜索引擎的研究与设计[J];计算机应用与软件;2010年07期

4 蔡笑伦;;网络爬虫技术的发展趋势[J];科技信息;2010年12期

5 崔泽永,常晓燕;搜索引擎的Web Robot技术与优化[J];微机发展;2004年04期

6 袁浩;黄烟波;;网页标题分析对主题爬虫的改进[J];计算机技术与发展;2009年06期

7 林群霞;;电子商务B2C企业发展:顾客服务模式研究[J];现代情报;2006年02期

【共引文献】

中国期刊全文数据库 前10条

1 李敏;赵君;;垂直搜索引擎爬虫系统的设计[J];长江大学学报(自然科学版)理工卷;2010年03期

2 王雅蕾;;电子商务环境中的供应链管理综述[J];重庆交通大学学报(社会科学版);2007年S1期

3 于成龙;于洪波;;网络爬虫技术研究[J];东莞理工学院学报;2011年03期

4 林中燕;;搜索引擎精准营销评价及对中小企业的启示[J];闽江学院学报;2007年04期

5 冯昀;;爬虫技术在网站信息拨测系统中的应用[J];广西通信技术;2012年04期

6 刘松;张德贤;;基于Web挖掘的粮食舆情分析应用研究[J];电脑知识与技术;2013年10期

7 沈岳;;搜索引擎技术综述[J];北京城市学院学报;2007年04期

8 张传军;侯宇葵;;科技信息研究在科技发展战略研究中的作用[J];航天器环境工程;2012年03期

9 李如洁;;京东网上商城操作模式研究[J];合作经济与科技;2011年11期

10 付强;;BtoC电子商务本质及其要因分析[J];商业经济;2008年13期

中国重要会议论文全文数据库 前2条

1 李慧敏;邬群勇;王钦敏;;Robot技术在空间信息服务搜索中的应用研究[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年

2 刘源;詹舒波;;基于Solr的行业垂直搜索平台的研究[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集（上）[C];2008年

中国博士学位论文全文数据库 前1条

1 胡燕;基于Web信息抽取的专业知识获取方法研究[D];武汉理工大学;2007年

中国硕士学位论文全文数据库 前10条

1 冯叶磊;基于隐语义的中医药文献搜索引擎[D];浙江大学;2011年

2 陈可钦;基于垂直搜索引擎的主题爬虫算法的研究[D];中南林业科技大学;2009年

3 周民;海量web舆情挖掘算法研究[D];电子科技大学;2011年

4 张朝威;面向企业竞争情报的主题搜索研究与实现[D];西安电子科技大学;2010年

5 孙华昱;Lucene在医学影像资源检索平台中的应用[D];沈阳工业大学;2011年

6 兰凯梅;BBS热点话题发现与监控系统[D];北京交通大学;2011年

7 戴雪梅;面向购物的聚类搜索引擎的研究与实现[D];北京交通大学;2011年

8 华大年;手机产品信息垂直搜索引擎系统设计与开发[D];武汉理工大学;2011年

9 文星;基于位置感知的Web文本搜索技术研究[D];大连海事大学;2011年

10 苏洪堂;招标智能办公系统的研究与应用[D];太原科技大学;2011年

【二级参考文献】

中国期刊全文数据库 前10条

1 王岩;;搜索引擎中网络爬虫技术的发展[J];电信快报;2008年10期

2 魏宏;B2C电子商务现状及问题[J];中国电子商务;2003年17期

3 刘世涛;;简析搜索引擎中网络爬虫的搜索策略[J];阜阳师范学院学报(自然科学版);2006年03期

4 王桂云;基于Robot搜索引擎的信息检索技术[J];甘肃科技;2002年11期

5 李盛韬;余智华;程学旗;白硕;;Web信息采集研究进展[J];计算机科学;2003年02期

6 张裔智;赵毅;汤小斌;;MD5算法研究[J];计算机科学;2008年07期

7 阳爱民,杨岳湘,瞿国平;网络机器人的分布性和可控性设计及研究[J];计算机工程;2000年06期

8 汪涛,樊孝忠;链接分析对主题爬虫的改进[J];计算机应用;2004年S2期

9 刘金红;陆余良;;主题网络爬虫研究综述[J];计算机应用研究;2007年10期

10 孙彬;王东;李娟;;基于XQuery的Deep Web搜索系统的设计与实现[J];科学技术与工程;2007年16期

中国硕士学位论文全文数据库 前1条

1 刘向辉;专题性智能搜索引擎的研究与实现[D];昆明理工大学;2001年

【相似文献】

中国期刊全文数据库 前10条

1 戴祝英,王刚;一个BBC电子商务网站的设计与实现[J];微机发展;2000年05期

2 侯人华;;基于网格技术的B2C商务模式[J];河北经贸大学学报;2007年05期

3 季海亚;刘秋生;;B2C电子商务的网站建设和安全防范研究[J];商场现代化;2008年15期

4 刘明辉;张志平;张新民;;网络资源聚合方法探析[J];机械管理开发;2008年05期

5 陈丽君;;深层网网络爬虫设计[J];计算机与信息技术;2009年Z2期

6 陈中良;高昱光;;在线购物网站的开发策划[J];光盘技术;2009年06期

7 谭建强;;以服务为中心的中小企业电子商务网站探讨[J];电子商务;2010年03期

8 刘磊安;符志强;;基于Lucene.net网络爬虫的设计与实现[J];电脑知识与技术;2010年08期

9 牛炳麟;厉相卿;;基于B2C模式的电子商务安全问题探讨[J];信阳农业高等专科学校学报;2010年04期

10 贺财平;覃事刚;刘建勋;;Web服务搜索引擎的设计与实现[J];计算机应用与软件;2011年01期

中国重要会议论文全文数据库 前10条

1 陶冶;刘建勋;唐明董;;基于Map/Reduce的分布式Web服务搜索引擎设计与实现[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年

2 彭亮;卓新建;黄玮;范文庆;;基于网络爬虫的XSS漏洞扫描系统的设计与实现[A];第十三届中国科协年会第11分会场-中国智慧城市论坛论文集[C];2011年

3 侯丹青;李舟军;邹蕴珂;;一种跨站脚本漏洞检测系统的设计与实现[A];全国计算机安全学术交流会论文集（第二十四卷）[C];2009年

4 张胜岭;赵菁;;基于客户吸引的B2C商务网站建设探讨[A];第11届海峡两岸信息管理发展策略研讨会论文集[C];2005年

5 刘祥涛;龚才春;曾依灵;白硕;鲍旭华;;Kad网络节点共享资源探测分析[A];第五届全国信息检索学术会议论文集[C];2009年

6 王勇;刘奕群;张敏;马少平;茹立云;;基于用户兴趣分析的网页生命周期建模(英文)[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

7 江涛;于洪志;李刚;;基于藏文网页的网络舆情监控系统研究[A];全国计算机安全学术交流会论文集（第二十三卷）[C];2008年

8 夏冰;高军;王腾蛟;杨冬青;;一种高效的动态脚本网站有效页面获取方法[A];第26届中国数据库学术会议论文集（A辑）[C];2009年

9 范渊;;Web应用风险扫描的研究与应用[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

10 梁勇;张文;;网络舆情采集系统的设计[A];2011年全国通信安全学术会议论文集[C];2011年

中国重要报纸全文数据库 前9条

1 康乐;漫谈搜索引擎技术[N];中国化工报;2002年

2 康乐;技术与人文的结晶[N];计算机世界;2002年

3 英文;雅虎图片搜索再次实现革命性升级[N];科技日报;2006年

4 伍裕标;网络监控STOP！[N];中国电脑教育报;2003年

5 迪文;搜索引擎如何工作[N];中国计算机报;2000年

6 朱泉峰;Web2.0理性回归[N];计算机世界;2006年

7 刘文;搜索需要“量体裁衣”[N];科技日报;2006年

8 本报记者 朱文利 特约记者 丛明;一位院士眼中的互联网大会[N];电脑报;2007年

9 刘莎;互联网信息搜索技术——对称搜索[N];计算机世界;2001年

中国博士学位论文全文数据库 前3条

1 陈竹敏;面向垂直搜索引擎的主题爬行技术研究[D];山东大学;2008年

2 黄九鸣;面向舆情分析和属性发现的网络文本挖掘技术研究[D];国防科学技术大学;2011年

3 吴永辉;面向专业领域的网络信息采集及主题检测技术研究与应用[D];哈尔滨工业大学;2010年

中国硕士学位论文全文数据库 前10条

1 李琚彪;质检舆情监控系统中信息检索的研究[D];北京邮电大学;2011年

2 赵艳;基于网络爬虫的跨站脚本漏洞动态检测技术研究[D];西南交通大学;2011年

3 杨衍鹏;基于垂直搜索的移动阅读产品设计与研究[D];湖南大学;2011年

4 乔峰;基于模板化网络爬虫技术的Web网页信息抽取[D];电子科技大学;2012年

5 门士锋;基于收益率的B2C电子商务网站结构优化[D];西南交通大学;2010年

6 吴晓程;B2C电子商务网站信息导航的用户体验设计研究[D];浙江工业大学;2012年

7 王建超;一体化网络分布式主动注册系统的设计与实现[D];北京交通大学;2008年

8 杨超;基于网格的大规模网页采集技术研究[D];哈尔滨工业大学;2007年

9 刘哲;基于广域网的分布式网页信息获取系统的研究与实现[D];吉林大学;2008年

10 沈寿忠;基于网络爬虫的SQL注入与XSS漏洞挖掘[D];西安电子科技大学;2009年

，

本文编号：1059370