雾霾与气象要素数据流间的关联性挖掘及应用研究

发布时间：2017-03-16 16:01

  本文关键词：雾霾与气象要素数据流间的关联性挖掘及应用研究，，由笔耕文化传播整理发布。

【摘要】：雾霾已经在气候、环境、健康、经济等方面造成显著的负面影响。雾霾的形成和演化有它自身的机理和规律,不同的地区,城市雾霾的形成原因、表现形式都不相同,如今对雾霾的科学认识仍不系统、完整,究其原因是没有对雾霾进行透彻地感知、认知和充分地分析。雾霾的演化与气象要素间有着密切的关系,由于气象部门达到了较高的信息化程度,积累了大量气象相关的数据,因此,利用数据挖掘的关联性理论方法可从中发现雾霾与气象要素间的规律,从而提高雾霾预报预测的准确率,指导人们的生产生活。本文首先对数据挖掘方法在国内外的研究现状进行了汇总,并对数据挖掘在气象分析方面的应用进行深入研究,详细分析了雾霾和气象的相关知识及国内外的相关研究现状。其次,对关联规则挖掘的经典算法Apriori的相关理论、实现流程及优缺点进行了分析;对云计算的相关理论及目前较流行的大数据处理平台Spark进行了概述;对雾霾的相关知识进行了介绍,并且分析了气象要素对雾霾的影响。在此基础上,针对大数据提出了一种基于Spark的关联规则挖掘算法AMRDD(Apriori Matrix Resilient Distributed Datasets),该算法将频繁项集用矩阵表示,基于HDFS存储,利用局部剪枝和全局剪枝原理,缩减了候选频繁项集的数量,利用Spark基于内存的计算,提高了时间效率。最后,将该算法应用于雾霾与气象要素间的相关性研究。构建雾霾与气象要素数据流间的关联性分析平台测试本文提出的AMRDD算法的性能及在雾霾研究方面的应用,使用3台实体机组成的局域网搭建了Spark平台,实现AMRDD算法。并分别用2013年10月到2015年10月的北京、长春、石家庄三个城市的气象资料数据集作为测试数据。实验结果表明,与传统的方法得出的结论是一致的,表明了该算法适用于雾霾与气象要素相关性方面的研究。同时,用随机生成的大数据集对算法进行了实验,AMRDD算法与传统的Apriori算法和在Hadoop上实现的Apriori算法相比,在大数据分析方面该算法时间效率明显提高。
【关键词】：雾霾 大数据分析 关联规则 Apriori算法
【学位授予单位】：长春工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：X51;TP311.13
【目录】：

• 摘要3-4
• Abstract4-7
• 第一章 绪论7-11
• 1.1 课题的研究背景及意义7
• 1.2 数据挖掘研究现状7-9
• 1.3 数据挖掘在气象领域的应用9
• 1.4 本文研究目标及研究内容9-10
• 1.5 本文的结构安排10-11
• 第二章 关联规则挖掘与云计算11-18
• 2.1 关联规则挖掘技术基本概念11
• 2.2 典型频繁项集挖掘算法Apriori算法11-13
• 2.2.1 Apriori算法基本过程11-12
• 2.2.2 Apriori算法描述12-13
• 2.3 垂直数据格式挖掘算法13-15
• 2.4 云计算15
• 2.5 Spark简介15-16
• 2.6 国内外研究现状16-17
• 2.7 本章小结17-18
• 第三章 雾霾与气象要素18-23
• 3.1 雾霾相关知识18-19
• 3.1.1 雾霾的形成机理18-19
• 3.1.2 雾霾的危害19
• 3.2 源解析19-20
• 3.3 气象要素对雾霾的影响20-21
• 3.4 国内外研究现状21-22
• 3.5 本章小结22-23
• 第四章 基于Spark的AMRDD算法23-29
• 4.1 引言23
• 4.2 相关概念23-24
• 4.3 AMRDD算法基本思想24-26
• 4.4 算法描述26-27
• 4.5 算法运行实例27-28
• 4.6 本章小结28-29
• 第五章 雾霾与气象要素的关联性分析29-41
• 5.1 雾霾与气象要素相关性分析系统29
• 5.2 气象数据处理流程29-35
• 5.2.1 数据来源29-30
• 5.2.2 雾霾及气象数据的特点30
• 5.2.3 数据选取30-32
• 5.2.4 数据预处理32-33
• 5.2.5 数据离散化33-35
• 5.3 实验环境35-36
• 5.4 实验结果分析36-40
• 5.4.1 气象数据实验结果分析36-38
• 5.4.2 模拟大数据实验结果分析38-40
• 5.5 本章小结40-41
• 第六章 结论与展望41-42
• 6.1 结论41
• 6.2 展望41-42
• 致谢42-43
• 参考文献43-46
• 作者简介46
• 攻读硕士学位期间研究成果46

【相似文献】

中国期刊全文数据库 前10条

1 周江;;啤酒销售量与气象要素影响因素的动态分析[J];中国集体经济;2011年27期

2 段丽瑶;白玉荣;吴振铃;;天津地区气象要素与花粉浓度的关系[J];城市环境与城市生态;2008年04期

3 周兆媛;张时煌;高庆先;李文杰;赵凌美;冯永恒;徐明洁;施蕾蕾;;京津冀地区气象要素对空气质量的影响及未来变化趋势分析[J];资源科学;2014年01期

4 汪洋,黄鑫贻,姜元华,肖沛琳,周瑜平;重庆市中区雾及有关气象要素对人群健康影响的初步研究[J];环境与健康杂志;1989年02期

5 王鹏飞 ,王伟;浅谈气象要素与火险的关系[J];山东消防;2003年04期

6 顾莹;束炯;;上海城市化对气象要素和臭氧浓度的影响[J];环境污染与防治;2010年05期

7 李超平;;气象要素延长订正方法探讨[J];钢铁技术;2002年05期

8 周贺玲;秦云苗;孙艺桃;;河北廊坊地区霾天气特征分析[J];中国人口.资源与环境;2014年S2期

9 隋珂珂;王自发;杨军;谢付莹;赵越;;北京PM_(10)持续污染及与常规气象要素的关系[J];环境科学研究;2007年06期

10 刘启;尤莉;陈勇梅;李伟东;;1953-2009年林西站气象要素变化分析[J];北方环境;2011年06期

中国重要会议论文全文数据库 前10条

1 谢静芳;秦元明;王宝书;赵立民;;气象环境对疾病的影响及气象要素与发病率相关特征分析[A];新世纪气象科技创新与大气科学发展——中国气象学会2003年年会“城市气象与科技奥运”分会论文集[C];2003年

2 张晓云;于世北;张忠琴;张颖;郭军;;意外中毒与气象要素的相关性分析[A];中国气象学会2005年年会论文集[C];2005年

3 吴子良;;景德镇市负离子含量特征及与气象要素的关系[A];第26届中国气象学会年会第三届气象综合探测技术研讨会分会场论文集[C];2009年

4 韩世刚;;重庆地震震前气象要素异常特征分析[A];中国科学技术协会2008防灾减灾论坛论文集[C];2008年

5 俞剑蔚;陈曲;严文莲;;南京霾日气象要素的特征分析及预报方法初探[A];第五届长三角气象科技论坛论文集[C];2008年

6 于秀丽;吴明华;任淑玲;吴钦高;;大兴安岭地区空气中花粉含量与气象要素的关系初探[A];中华医学会2009年全国变态反应学术会议论文汇编[C];2009年

7 李青春;丁德平;王力;;2007年奥运会开幕式期间国家体育场(鸟巢)气象要素观测分析[A];中国气象学会2007年年会气象综合探测技术分会场论文集[C];2007年

8 力梅;张丽;李磊;;深圳30年气象要素星期效应特征分析及相关性研究[A];S7 气候环境变化与人体健康[C];2012年

9 彭艳;张宏升;S-U Park;Y-S Chun;M-S Park;赵明旭;张宏伟;王金祥;;浑善达克沙地地区近地面层气象要素变化特征[A];推进气象科技创新加快气象事业发展——中国气象学会2004年年会论文集（下册）[C];2004年

10 王开燕;王雪梅;张仁健;朱建军;;北京市冬季气象要素对气溶胶浓度日变化的影响分析[A];中国气象学会2007年年会大气成分观测、研究与预报分会场论文集[C];2007年

中国重要报纸全文数据库 前5条

1 翟峰;注重把环境气象要素引入规划中[N];中国建设报;2010年

2 翟峰;要把环境气象要素引入城市规划[N];中国环境报;2010年

3 记者 马静t

本文编号：251966