基于动态web的网络爬虫的研究

发布时间：2017-12-25 23:19

  本文关键词：基于动态web的网络爬虫的研究　出处：《科技展望》2015年17期 　论文类型：期刊论文

  更多相关文章： 网络爬虫 基于JavaScript的动态网页 搜索引擎

【摘要】：随着移动互联网时代的到来,Web网站也随之正在发生巨大的变化,从最初的herf链接到Ajax动态加载页面内容到如今基于Java Script的MVC/MVVM框架的兴起,基于Web的网络爬虫也逐渐发生变化。本文主要研究如何抓取由Java Script动态生成的页面,从而使我们的搜索引擎更加强大,更加友好。
【作者单位】： 长春工业大学经济管理学院;
【分类号】：TP391.3;TP393.092
【正文快照】： 1网络爬虫的历史及现状网络爬虫是一个自动提取网页的程序,如果把互联网比喻成一个蜘蛛网,那么爬虫就是在网上爬来爬去的蜘蛛。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条

【相似文献】

相关期刊论文 前10条

1 彭轲;廖闻剑;;基于浏览器服务的网络爬虫[J];硅谷;2009年04期

2 王江红;朱丽君;李彩虹;;一种新型网络爬虫的设计与实现[J];微计算机信息;2010年03期

3 孙立伟;何国辉;吴礼发;;网络爬虫技术的研究[J];电脑知识与技术;2010年15期

4 于成龙;于洪波;;网络爬虫技术研究[J];东莞理工学院学报;2011年03期

5 焦赛美;;网络爬虫技术的研究[J];琼州学院学报;2011年05期

6 宋海洋;刘晓然;钱海俊;;一种新的主题网络爬虫爬行策略[J];计算机应用与软件;2011年11期

7 刘金红;陆余良;;主题网络爬虫研究综述[J];计算机应用研究;2007年10期

8 曹忠;赵文静;;一种优化的网络爬虫的设计与实现[J];电脑知识与技术;2008年35期

9 邹海亮;孙莉;;可定制的聚焦网络爬虫[J];电子科技;2009年01期

10 杨松梅;;网络爬虫[J];硅谷;2009年15期

相关会议论文 前5条

1 夏诏杰;郭力;李晓霞;;化学主题网络爬虫的研究[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年

2 李楠;谷利泽;钮心忻;;用于XSS扫描的网络爬虫的设计与实现[A];2010年全国通信安全学术会议论文集[C];2010年

3 张军;于浩;内野宽治;;UGC中产品评论信息的挖掘[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

4 徐剑;柯贵明;;网络爬虫技术在搜索引擎中的应用[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

5 王庆广;何力;韩伟红;;基于爬虫的有害网站发现与判别系统的实现[A];第27次全国计算机安全学术交流会论文集[C];2012年

相关硕士学位论文 前10条

1 金梅;网络爬虫性能提升与功能拓展的研究与实现[D];吉林大学;2012年

2 芮虎;比价购物平台中网络爬虫的设计与实现[D];华东理工大学;2013年

3 龚秋艳;并行网络爬虫设计与实现[D];华东师范大学;2010年

4 么士宇;基于分布式计算的网络爬虫技术研究[D];大连海事大学;2011年

5 陈奋;过滤型网络爬虫的研究与设计[D];厦门大学;2007年

6 赵茉莉;网络爬虫系统的研究与实现[D];电子科技大学;2013年

7 刘晶晶;面向微博的网络爬虫研究与实现[D];复旦大学;2012年

8 谭龙远;基于领域的网络爬虫技术的研究与实现[D];武汉理工大学;2009年

9 张红云;基于页面分析的主题网络爬虫的研究[D];武汉理工大学;2010年

10 赵鹏程;分布式书籍网络爬虫系统的设计与实现[D];西南交通大学;2014年

，

本文编号：1334869