经济学家也要学点网络爬虫技术——漫谈爬虫技术与经济数据收集

发布时间：2018-04-29 14:36

  本文选题：网络爬虫 + 美国国会图书馆　； 参考：《经济资料译丛》2014年02期

【摘要】：正1经济学实证研究中的的网络数据以及网络数据的特点随着科技的发展,人们正面临信息爆炸。2010年,零售巨头沃尔玛每小时都要处理100多万笔交易,为数据库大概上传2,500兆数据,相当于美国国会图书馆存书数的167倍。①可想而之,这个世界上数据量多到难以想象,而且还在不断地快速增长。与此同时,经济学家的研究越来越离不开数据的支持。以2012年第1期的《经济研究》为例,11篇学术文章,除了一篇纯理论研究的文章外,其余10篇均引用了各种数
[Abstract]:Internet data and characteristics of Web data in empirical Economics Research people are facing an information explosion as technology advances. In 2010, retail giant Wal-Mart handled more than 1 million transactions per hour. Uploading about 2500 megabytes of data to the database, or 167.1 times the number of books in the Library of Congress, is unthinkable and growing fast. At the same time, the research of economists is more and more inseparable from the support of data. Take the first issue of Economic Research in 2012 as an example of 11 academic articles. Except for one purely theoretical article, all the other 10 cited various numbers.
【作者单位】： 厦门大学经济学院实验教学中心;
【分类号】：F222.3

【相似文献】

相关期刊论文 前10条

1 魏毅峰;;产品评论检索系统设计[J];现代经济信息;2011年14期

2 李雪;;僵尸电脑会影响企业的业务发展吗?[J];信息安全与通信保密;2008年12期

3 赵宏中;李亚;;垂直搜索引擎应用研究[J];现代商贸工业;2010年04期

4 刘东鑫;周斯宁;沈军;;互联网不良信息治理的研究与探讨[J];广东通信技术;2010年12期

5 杨建林,孙明军;竞争情报收集的自动化[J];情报杂志;2005年01期

6 ;IT书吧[J];网络与信息;2011年04期

7 龚平;;面向企业竞争情报的网站链接提取软件研究[J];情报探索;2011年10期

8 张文;唐锡晋;;基于Web内容挖掘的信息支持工具AIS-GAE[J];管理评论;2006年09期

9 杨勇;王衍;张文宇;;基于本体面向政府采购的知识管理研究[J];计算机时代;2009年08期

10 廖开际;叶东海;席运江;;基于大项集组的互联网用户兴趣建模[J];统计与决策;2010年15期

相关会议论文 前10条

1 李楠;谷利泽;钮心忻;;用于XSS扫描的网络爬虫的设计与实现[A];2010年全国通信安全学术会议论文集[C];2010年

2 彭亮;卓新建;黄玮;范文庆;;基于网络爬虫的XSS漏洞扫描系统的设计与实现[A];第十三届中国科协年会第11分会场-中国智慧城市论坛论文集[C];2011年

3 徐剑;柯贵明;;网络爬虫技术在搜索引擎中的应用[A];全国第21届计算机技术与应用学术会议（CACIS·2010）暨全国第2届安全关键技术与应用学术会议论文集[C];2010年

4 邹永斌;陈兴蜀;王文贤;;一个高性能Web资源收集系统的设计与实现[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

5 侯丹青;李舟军;邹蕴珂;;一种跨站脚本漏洞检测系统的设计与实现[A];全国计算机安全学术交流会论文集（第二十四卷）[C];2009年

6 刘凡平;高艳华;于炯;张伟;;基于关键决策方法的站内搜索研究与实现[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年

7 张军;于浩;内野宽治;;UGC中产品评论信息的挖掘[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

8 王勇;刘奕群;张敏;马少平;茹立云;;基于用户兴趣分析的网页生命周期建模(英文)[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

9 朴星海;赵铁军;郑德权;张迪;;面向Blog的网络爬行器设计与实现[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年

10 刘祥涛;龚才春;曾依灵;白硕;鲍旭华;;Kad网络节点共享资源探测分析[A];第五届全国信息检索学术会议论文集[C];2009年

相关重要报纸文章 前9条

1 伍裕标;网络监控STOP！[N];中国电脑教育报;2003年

2 王猛祥 徐明华;六度分隔：下一代网络交际[N];中国计算机报;2004年

3 Victor;电子邮件跟踪服务面世[N];人民邮电;2004年

4 商建刚;当你电子邮件地址被拍卖（上）[N];中国计算机报;2001年

5 记者 郭丽君;封堵涉黄网站3500个[N];光明日报;2010年

6 记者 邵素宏;中移动新型拨测系统“扫黄”显威力[N];人民邮电;2010年

7 马季;网络文学遭遇“版权困境”[N];人民日报海外版;2010年

8 记者 曹莉;泛华北(环渤海)工程信息共享平台功能升级[N];中国建设报;2011年

9 上海 陈曦;谷歌之后，谁来制衡百度?[N];电脑报;2010年

相关博士学位论文 前2条

1 吴永辉;面向专业领域的网络信息采集及主题检测技术研究与应用[D];哈尔滨工业大学;2010年

2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

相关硕士学位论文 前10条

1 赵茉莉;网络爬虫系统的研究与实现[D];电子科技大学;2013年

2 金梅;网络爬虫性能提升与功能拓展的研究与实现[D];吉林大学;2012年

3 芮虎;比价购物平台中网络爬虫的设计与实现[D];华东理工大学;2013年

4 龚秋艳;并行网络爬虫设计与实现[D];华东师范大学;2010年

5 王毅桐;分布式网络爬虫技术研究与实现[D];电子科技大学;2012年

6 张大伟;基于动态概念图的主题网络爬虫的设计与分析[D];辽宁科技大学;2013年

7 黄晓鹏;基于网络爬虫技术的内容探测系统设计与实现[D];北京邮电大学;2010年

8 么士宇;基于分布式计算的网络爬虫技术研究[D];大连海事大学;2011年

9 赵艳;基于网络爬虫的跨站脚本漏洞动态检测技术研究[D];西南交通大学;2011年

10 王洪威;主题网络爬虫的分析与设计[D];北京邮电大学;2013年

，

本文编号：1820349