基于网络爬虫的优惠商品搜索平台研究
发布时间:2017-09-18 17:50
本文关键词:基于网络爬虫的优惠商品搜索平台研究
【摘要】:针对主流电子商务网站上的商品数据进行查询,在基于C++搜索引擎Xapian技术上设计出针对商品信息查询的网络爬虫架构,并通过改进的SLASA算法和DNS Cache技术抓取下载主流电商网页中商品数据,将获取到的数据通过baidu,google等搜索引擎及pageRank算法进行二次过滤后存储到数据库中,再通过判权算法筛选用户所需数据,将筛选出的商品信息回馈给用户,达到方便用户选取到价格低廉商品的目的.
【作者单位】: 泰山学院信息科学技术学院;
【关键词】: 网络爬虫 优惠商品 搜索平台
【基金】:山东省教育厅科技发展计划项目(No.J05G53) 国家级大学生创新创业训练计划项目(No.201310453008)
【分类号】:TP391.3
【正文快照】: B2C及C2C模式的各类购物网站的出现和发展为消费者提供了广阔的购物空间,网络购物成交额逐渐增高.随着网购的不断发展,商品的品类和数量也在不断增多,大量的商品信息使得消费者常常无法获得合适价格的商品.本文主要研究如何解决此类问题,并为用户提供及时有效的商品信息,为消
【参考文献】
中国期刊全文数据库 前6条
1 孟时;王彦;;larbin网络爬虫的体系结构[J];电脑学习;2010年04期
2 林晓春,王艳;一种基于图像融合的红外图像增强新方法[J];红外技术;2004年02期
3 张帆;李琳娜;杨炳儒;;基于Web的智能信息采集及处理系统设计与实现[J];计算机工程;2007年18期
4 王锋;王伟;张t,
本文编号:876985
本文链接:https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/876985.html