基于分布式的商品信息网络爬虫系统的设计与实现

发布时间：2019-11-20 17:59

【摘要】：自1989年World Wide Web诞生以来，电子商务伴随着互联网的普及而获得高速发展，它不仅有力地推动经济全球化，还极大地改变了人们的生活方式。在电子商务网站发展过程中，不仅商品种类丰富化，网购形式也呈现出多样化，如B2C、C2C以及团购、尾品。在移动终端多样化的背景下，面对众多选择，，如何帮助、引导用户购物，是一个值得深入研究的课题。设计实现一个分布式商品信息爬虫系统可以爬取各购物网站的商品信息，进而为以图搜商品的导购网站或比价网站提供商品数据，从而达到帮助用户购物的目的。 首先介绍了网络爬虫涉及的相关技术，然后在此基础上结合购物网站以及商品网页的特点，重点研究了爬行策略、网页解析和爬虫系统稳定性这三个方面。在爬行策略上，对比分析了现有爬行策略的优缺点，提出一种基于广度优先的改进爬行策略，通过对URL分类并赋予权值，将原有的URL队列替换为优先级队列，使得爬虫爬取目标更有针对性，以此提高爬行效率。对于网页解析，针对网页使用JavaScript技术导致部分商品信息无法提取，提出两种解决方案。一种是通过爬取URL对应的移动端网页获取商品信息，另一种是通过模拟浏览器访问网页，获取网页上包括JavaScript加载的数据后再做进一步解析，从而获取到完整的商品信息。针对爬虫运行在复杂的网络环境中这一情况，系统从线程检测重启、中心节点信息备份以及爬虫增量爬行这三个方面提高稳定性和容灾性。 通过对分布式商品信息网络爬虫系统运行测试，验证了系统的分布式架构的可行性和高效性。测试结果显示，对各购物网站目标商品的爬取正确率均在99%以上，改进的爬行策略对爬行效率的提升也得到验证。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP391.1;TP393.092

【相似文献】

相关期刊论文 前10条

1 戚欣;;基于本体的主题网络爬虫设计[J];武汉理工大学学报;2009年03期

2 彭轲;廖闻剑;;基于浏览器服务的网络爬虫[J];硅谷;2009年04期

3 王江红;朱丽君;李彩虹;;一种新型网络爬虫的设计与实现[J];微计算机信息;2010年03期

4 孙立伟;何国辉;吴礼发;;网络爬虫技术的研究[J];电脑知识与技术;2010年15期

5 杨靖韬;陈会果;;对网络爬虫技术的研究[J];科技创业月刊;2010年10期

6 于成龙;于洪波;;网络爬虫技术研究[J];东莞理工学院学报;2011年03期

7 李志义;;网络爬虫的优化策略探略[J];现代情报;2011年10期

8 焦赛美;;网络爬虫技术的研究[J];琼州学院学报;2011年05期

9 宋海洋;刘晓然;钱海俊;;一种新的主题网络爬虫爬行策略[J];计算机应用与软件;2011年11期

10 王娟;吴金鹏;;网络爬虫的设计与实现[J];软件导刊;2012年04期

相关会议论文 前4条

1 夏诏杰;郭力;李晓霞;;化学主题网络爬虫的研究[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年

2 李楠;谷利泽;钮心忻;;用于XSS扫描的网络爬虫的设计与实现[A];2010年全国通信安全学术会议论文集[C];2010年

3 张军;于浩;内野宽治;;UGC中产品评论信息的挖掘[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

4 徐剑;柯贵明;;网络爬虫技术在搜索引擎中的应用[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

相关硕士学位论文 前10条

1 陶俊文;基于Heritrix框架的专业镇信息网络爬虫系统[D];华南理工大学;2015年

2 马汉超;基于主题网络爬虫的汽车行业多元信息web系统设计与实现[D];西南交通大学;2015年

3 李威;基于交通流量图的交通信息提取技术研究[D];长安大学;2015年

4 朱嵘良;分布式并行环境下的网络爬虫研究[D];中央民族大学;2015年

5 周思华;股票系统之热门话题发现子系统的设计与实现[D];哈尔滨工业大学;2015年

6 丁杰;基于网络爬虫的虚假网页主动智能检测[D];华北电力大学;2015年

7 唐华栋;网页防抓取系统的设计与实现[D];哈尔滨工业大学;2015年

8 白剑飞;基于层次主题模型的网络新闻汇聚[D];浙江大学;2015年

9 袁野;企业内网搜索引擎关键技术研究与实现[D];电子科技大学;2014年

10 滕以芳;基于本体的多媒体素材网络爬虫设计与实现[D];吉林大学;2015年

本文编号：2563651