基于CheerIO的MEAN Stack气象数据网络爬虫研究
本文选题：CheerIO + MEAN ； 参考：《农业机械学报》2016年06期
【摘要】：为全面、即时搜集分散于互联网上游离的气象数据,满足各行业、各领域、各学科科研部门的数据需求,提出使用Google MEAN Stack全栈技术开发基于Cheer IO的高效定向爬虫,充分利用Node.js高性能I/O的特性,实现气象信息的快速搜集。同时将技术栈与地理信息系统技术、数据可视化技术以及云计算技术相结合,通过地理信息系统的数据存储、查询、自动制图、统计分析等功能对信息进行分析和处理,在阿里云平台上构建了一个能抓取并存储海量数据、提供实时气象数据的应用系统,提供便捷的检索、查询功能,有较强的实用性。本文结合气象数据爬虫的解决方案,对MEAN Stack数据爬虫的开发框架、项目架构以及爬虫核心技术(抓取目标策略、网页分析算法、多线程并发运算等)进行了深入分析研究与实现。
[Abstract]:In order to collect the free meteorological data scattered over the Internet in an all-round way and meet the data needs of the scientific research departments of various industries, fields and disciplines, this paper proposes to develop a highly efficient directional crawler based on Cheer IO by using Google MEAN Stack full stack technology. Make full use of the high performance I / O characteristic of Node.js, realize the quick collection of meteorological information. At the same time, the technology stack is combined with GIS technology, data visualization technology and cloud computing technology to analyze and process the information through the functions of GIS data storage, query, automatic mapping, statistical analysis and so on. An application system which can capture and store massive data and provide real-time meteorological data is constructed on Ali cloud platform. It provides convenient retrieval and query functions and has strong practicability. Based on the solution of meteorological data crawler, the development framework, project architecture and crawler core technology of MEAN Stack data crawler are discussed in this paper. Multi-thread concurrent operation, etc.
【作者单位】： 北京林业大学精准林业北京市重点实验室;
【基金】：国家自然科学基金项目(41371001) 北京林业大学青年教师科学研究中长期项目(2015ZCQ-LX-01)
【分类号】：TP391.3
【相似文献】
相关期刊论文 前10条
1 盛梅;;初探云计算与气象数据处理[J];计算机与网络;2009年06期
2 李建;马琰钢;;浙江省“智慧高速”气象数据交互网络设计与实现[J];浙江气象;2013年03期
3 宁世远;;PC-1500袖珍机处理大量气象信息的方法[J];新疆气象;1989年12期
4 李社宏;;大数据时代气象数据分析应用的新趋势[J];陕西气象;2014年02期
5 花的神明;;天气预报 我要图文并茂[J];网友世界;2010年06期
6 李树忠,王春芳,张振;自动气象数据采集站组态软件设计[J];青岛大学学报(工程技术版);1998年02期
7 晓任;气象数据互联网传输系统[J];军民两用技术与产品;2002年01期
8 田云臣;;“病虫害预测系统”的设计与开发[J];天津科技;2009年01期
9 高峰;王国复;喻雯;冯明农;孙超;罗琦;;气象数据文件快速下载服务系统的设计与实现[J];应用气象学报;2010年02期
10 胡春奎;一种微机控制农业气象数据监测系统[J];华中农业大学学报;1995年05期
相关会议论文 前4条
1 张宇鹏;王丽珍;周丽华;;基于气象数据的关联规则挖掘[A];第十七届全国数据库学术会议论文集（研究报告篇）[C];2000年
2 郑永光;陈炯;王洪庆;张焱;陈敏;白洁;朱佩君;陶祖钰;;一个气象数据分析绘图软件的设计、开发及应用[A];推进气象科技创新加快气象事业发展——中国气象学会2004年年会论文集（下册）[C];2004年
3 王甫棣;姚燕;李湘;;基于XML的气象数据订阅系统设计[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年
4 林奕峰;滕少华;陈潇;林蟒;成明;;基于KNN的多组合器协同挖掘区域自动站气象数据[A];第31届中国气象学会年会S13 气象通信与信息技术应用实践与新技术探索[C];2014年
相关重要报纸文章 前2条
1 记者 谢庆裕;加强气象数据信息转化应用[N];南方日报;2013年
2 Kim S.Nash;天气中的大数据[N];计算机世界;2013年
相关博士学位论文 前1条
1 徐江斌;基于气象数据的云景真实感模拟技术研究[D];国防科学技术大学;2010年
相关硕士学位论文 前10条
1 黄钧晟;云计算环境下基于Apriori算法的气象数据关联规则分析研究[D];南京信息工程大学;2015年
2 白珍;气象数据图形显示系统的设计与实现[D];电子科技大学;2015年
3 梁建平;常规高空风气象数据整编系统的研究与实现[D];电子科技大学;2015年
4 郭萌;气象数据转换系统的设计与实现[D];东北大学 ;2009年
5 郭旭;气象数据管理与预报系统的设计与实现[D];东北大学;2008年
6 包胡萍;气象自动站数据查询填图系统的设计实现[D];电子科技大学;2012年
7 张玲;遂宁市自动气象站气象数据综合管理系统的设计与实现[D];电子科技大学;2015年
8 邵戎;web构架的气象信息共享平台的设计与实现[D];电子科技大学;2009年
9 秦明俊;气象信息综合管理系统的设计与实现[D];电子科技大学;2011年
10 布亚林;地市级人工影响天气作业指挥系统的设计与实现[D];解放军信息工程大学;2012年
，本文编号：1832599
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/1832599.html
