大气污染大数据平台的设计与实现

发布时间：2022-07-12 19:08

　　近年来中国大气环境质量问题频现,以PM2.5为主要代表的大气污染物对人体健康以及大气环境造成了很大危害。大气污染问题涉及多个层面,影响因素众多,需要对PM2.5地面监测数据、气象数据、卫星遥感数据及污染源等海量数据进行分析处理才能得出正确结论。因此,大气污染的监测中海量数据的分析处理成为了关键。大数据技术为解决上述问题提供了一种新思路,利用大数据技术解决大气污染数据集成、存储以及信息挖掘,成为大气污染领域的研究热点。我国虽已建成全国性PM2.5地面监测网络,但由于地面站点分布不均,对高密度、宽覆盖的大气污染监测数据进行采集处理,成为大气污染领域又一研究热点。为了解决大气污染数据的采集、存储、分析以及应用问题,设计了基于Hadoop与Spark的大气污染大数据平台,并针对地面站点数据空间分布不均的问题,通过引入AOD（Aerosol Optical Depth）数据实现了中国区域的PM2.5应用研究。主要工作有以下几个方面:（1）大气污染平台的设计与实现。首先针对大气污染大数据平台中的分布式采集框架、分布式文件系统、分布式并行计算框架等相关技术开展研究。然后对大气污染大数据平台进行需求分... 

【文章页数】：94 页

【学位级别】：硕士

【部分图文】：

图２－１?Ｈａｄｏｏｐ生态圈示意图??Ｆｉｇ．?２－１?Ｄｉａｇｒａｍ?ｏｆ?Ｈａｄｏｏｐ?Ｅｃｏｓｙｓｔｅｍ??２．１．１分布式文件系统ＨＤＦＳ??

图２－２?ＨＤＦＳ结构图??Ｆｉｇ．?２－２?Ｓｔｒｕｃｔｕｒｅ?Ｃｈａｒｔ?ｏｆ?ＨＤＦＳ??ＮａｍｅＮｏｄｅ属于分布式文件系统管理者，管理分布式文件系统的命名空间、数据块??映射信息和配置信息等

图２－４?ＨＢａｓｅ架构图??Ｆｉｇ．?２－４?Ｓｔｒｕｃｔｕｒｅ?Ｃｈａｒｔ?ｏｆ?ＨＢａｓｅ??２．１．４分布式采集框架??伴随着大数据时代到来，数据量爆发式的增长导致传统的数据收集技术已经无法满??

【参考文献】：
期刊论文
[1]基于改进粒子群优化BPAdaboost神经网络的PM2.5浓度预测[J]. 李晓理,梅建想,张山.  大连理工大学学报. 2018(03)
[2]大气颗粒物理化特征和影响效应的研究进展及展望[J]. 邵龙义,王文华,幸娇萍,李卫军,牛红亚,侯聪,杨书申.  地球科学. 2018(05)
[3]中国城市PM2.5时空动态变化特征分析:2015—2017年[J]. 姜磊,周海峰,赖志柱,柏玲,陈忠升.  环境科学学报. 2018(10)
[4]融机器学习与WRF大气模式的PM2.5预报方法[J]. 侯俊雄,李琦,朱亚杰,冯逍,林绍福.  测绘科学. 2018(02)
[5]卫星气溶胶光学厚度资料同化对灰霾预报改进个例研究[J]. 冯沁,鲍艳松,闵锦忠,陆其峰.  气象学报. 2018(01)
[6]基于机器学习的PM2.5短期浓度动态预报模型[J]. 戴李杰,张长江,马雷鸣.  计算机应用. 2017(11)
[7]Hadoop与Spark应用场景研究[J]. 冯兴杰,王文超.  计算机应用研究. 2018(09)
[8]基于聚类分析与偏最小二乘法的支持向量机PM2.5预测[J]. 喻其炳,李勇,白云,姚行艳,成志伟,李川.  环境科学与技术. 2017(06)
[9]基于大数据分析与认知技术的空气质量预报预警平台[J]. 李云婷,严京海,孙峰,张大伟,夏曦,芮晓光,白鑫鑫,尹文君.  中国环境管理. 2017(02)
[10]2013—2015年中国PM2.5污染状况时空变化[J]. 李沈鑫,邹滨,刘兴权,方新.  环境科学研究. 2017(05)

硕士论文
[1]基于Spark的电信客户细分数据分析平台实现和应用[D]. 吕亮亮.北京邮电大学 2019
[2]基于Spark地点推荐技术的研究与应用[D]. 蒲鑫.中国科学院大学(中国科学院沈阳计算技术研究所) 2019
[3]基于大数据的新闻日志分析系统的设计与实现[D]. 冯岩.北京邮电大学 2019
[4]支持工作流的实时大数据处理平台设计与实现[D]. 贾韶光.北京邮电大学 2019
[5]基于大数据的日志采集分析系统的研究与实现[D]. 杨恺.华北电力大学 2019
[6]基于大数据的电信经营分析平台中数据采集分发设计与实现[D]. 陈蔚.东南大学 2018
[7]基于并行随机森林的城市PM2.5浓度预测[D]. 任才溶.太原理工大学 2018
[8]大数据平台数据采集系统的设计与实现[D]. 逯衍.北京交通大学 2018
[9]基于Spark和HDFS的大数据分析平台的设计与优化[D]. 胡冬冬.东南大学 2018
[10]基于Hadoop的空气质量预测方法研究[D]. 雷宝.广东工业大学 2018



本文编号：3659679