基于大数据处理的农业气象灾害评估模型研究
发布时间：2022-12-18 06:12
随着气候环境对农业生产的影响日益密切,如何高效处理海量增长的气象数据,提高农业气象灾害预警的科学性成为农业气象灾害研究的热门。由于气象数据具有数据量大、类型繁多、冗余度高、价值密度低等特点,所以传统的数据分析方法往往达不到很高的处理效率。本文的主要工作就是针对气象大数据的特点,结合数据分析的研究成果,进一步研究了更加高效的大数据处理技术并应用于农业气象灾害预警。本文介绍了气象大数据的处理架构,概述了大数据处理技术,分析了现有大数据预处理技术、分类技术及各自性能。概述了自适应增强技术和分布式处理架构,分析了组合分类器和并行化技术在大数据处理中的作用,为进一步研究农业气象灾害预警提供准备工作。针对气象数据类型复杂、属性繁多的特点,结合粗糙集理论和并行化处理技术,本文首先提出一种基于信息熵的并行化属性约简算法。通过信息熵属性约简算法消除重复、冗余的气象数据,实现对知识的压缩和再提炼,并利用MapReduce架构将任务进行划分,实现算法的分布式处理。仿真结果表明,该并行化算法能够有效的运用于气象大数据约简,且具有更快的处理速度。针对农业气象灾害分类预测效率低下的问题,本文提出了基于MapRed...
【文章页数】：76 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 大数据处理技术研究现状
1.2.2 农业气象灾害研究现状
1.3 研究内容
1.4 论文结构
第二章 气象大数据处理相关技术概述
2.1 气象大数据概述
2.1.1 气象大数据处理架构
2.1.2 气象大数据特点
2.2 气象大数据预处理技术概述
2.2.1 气象大数据预处理的研究内容
2.2.2 粗糙集理论模型
2.2.3 气象大数据知识约简
2.3 气象大数据挖掘相关技术概述
2.3.1 气象大数据挖掘过程
2.3.2 K最近邻分类算法
2.3.3 自适应增强技术
2.4 MapReduce技术概述
2.4.1 MapReduce执行过程
2.4.2 MapReduce作业处理机制
2.5 本章小结
第三章 基于信息熵的并行化属性约简算法
3.1 问题描述
3.2 基于信息熵的并行化属性约简算法
3.2.1 信息熵约简
3.2.2 信息熵约简的并行化
3.3 仿真实验与结果分析
3.3.1 约简过程分析
3.3.2 算法性能分析
3.4 本章小结
第四章 基于MapReduce的K最近邻组合分类器研究
4.1 问题描述
4.2 基于MapReduce的KNN组合分类器
4.2.1 KNN组合分类器
4.2.2 KNN算法的并行化
4.3 仿真实验与结果分析
4.4 本章小结
第五章 大数据处理技术在农业气象灾害评估中的应用
5.1 问题描述
5.2 农业气象灾害风险评估
5.2.1 气象灾害等级指标
5.2.2 农业气象灾害风险指数
5.2.3 农业气象灾害评估结果
5.3 本章小结
第六章 总结与展望
6.1 工作总结
6.2 未来展望
致谢
参考文献
作者简介
【参考文献】：
期刊论文
[1]推进农业供给侧结构性改革的思考[J]. 吴海峰. 中州学刊. 2016(05)
[2]云计算环境下气象大数据服务的应用[J]. 张洁,薛胜军. 安徽农业科学. 2016(05)
[3]再析气象大数据及其应用[J]. 沈文海. 中国信息化. 2016(01)
[4]基于数据挖掘的气象数据优化研究[J]. 张民. 自动化与仪器仪表. 2015(09)
[5]决策粗糙集理论研究现状与展望[J]. 于洪,王国胤,姚一豫. 计算机学报. 2015(08)
[6]基于Hadoop/Hive的气象数据分布式处理研究[J]. 陈效杰,张金泉. 软件导刊. 2015(08)
[7]异构环境下MapRuduce任务调度算法优化[J]. 魏巍,刘钊远. 微型电脑应用. 2015(06)
[8]基于差异关系的变精度粗糙集知识约简算法研究[J]. 焦娜. 计算机科学. 2015(05)
[9]基于GIS的海量气象数据预处理技术研究[J]. 桂翔,梁栋栋. 电脑知识与技术. 2015(07)
[10]数据挖掘技术在气象预报研究中的应用[J]. 彭昱忠,王谦,元昌安,林开平. 干旱气象. 2015(01)
博士论文
[1]基于粗糙集理论的森林病虫害预测模型与算法的研究[D]. 张艳荣.东北林业大学 2012
硕士论文
[1]Adaboost算法的并行化及其在目标分类中的应用[D]. 袁浩杰.华南理工大学 2015
[2]公交动态调度系统中的数据预测方法[D]. 刘亚彬.东北大学 2014
[3]基于MapReduce的KNN分类算法的研究与实现[D]. 乔鸿欣.北京交通大学 2012
本文编号：3721508
【文章页数】：76 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 大数据处理技术研究现状
1.2.2 农业气象灾害研究现状
1.3 研究内容
1.4 论文结构
第二章 气象大数据处理相关技术概述
2.1 气象大数据概述
2.1.1 气象大数据处理架构
2.1.2 气象大数据特点
2.2 气象大数据预处理技术概述
2.2.1 气象大数据预处理的研究内容
2.2.2 粗糙集理论模型
2.2.3 气象大数据知识约简
2.3 气象大数据挖掘相关技术概述
2.3.1 气象大数据挖掘过程
2.3.2 K最近邻分类算法
2.3.3 自适应增强技术
2.4 MapReduce技术概述
2.4.1 MapReduce执行过程
2.4.2 MapReduce作业处理机制
2.5 本章小结
第三章 基于信息熵的并行化属性约简算法
3.1 问题描述
3.2 基于信息熵的并行化属性约简算法
3.2.1 信息熵约简
3.2.2 信息熵约简的并行化
3.3 仿真实验与结果分析
3.3.1 约简过程分析
3.3.2 算法性能分析
3.4 本章小结
第四章 基于MapReduce的K最近邻组合分类器研究
4.1 问题描述
4.2 基于MapReduce的KNN组合分类器
4.2.1 KNN组合分类器
4.2.2 KNN算法的并行化
4.3 仿真实验与结果分析
4.4 本章小结
第五章 大数据处理技术在农业气象灾害评估中的应用
5.1 问题描述
5.2 农业气象灾害风险评估
5.2.1 气象灾害等级指标
5.2.2 农业气象灾害风险指数
5.2.3 农业气象灾害评估结果
5.3 本章小结
第六章 总结与展望
6.1 工作总结
6.2 未来展望
致谢
参考文献
作者简介
【参考文献】：
期刊论文
[1]推进农业供给侧结构性改革的思考[J]. 吴海峰. 中州学刊. 2016(05)
[2]云计算环境下气象大数据服务的应用[J]. 张洁,薛胜军. 安徽农业科学. 2016(05)
[3]再析气象大数据及其应用[J]. 沈文海. 中国信息化. 2016(01)
[4]基于数据挖掘的气象数据优化研究[J]. 张民. 自动化与仪器仪表. 2015(09)
[5]决策粗糙集理论研究现状与展望[J]. 于洪,王国胤,姚一豫. 计算机学报. 2015(08)
[6]基于Hadoop/Hive的气象数据分布式处理研究[J]. 陈效杰,张金泉. 软件导刊. 2015(08)
[7]异构环境下MapRuduce任务调度算法优化[J]. 魏巍,刘钊远. 微型电脑应用. 2015(06)
[8]基于差异关系的变精度粗糙集知识约简算法研究[J]. 焦娜. 计算机科学. 2015(05)
[9]基于GIS的海量气象数据预处理技术研究[J]. 桂翔,梁栋栋. 电脑知识与技术. 2015(07)
[10]数据挖掘技术在气象预报研究中的应用[J]. 彭昱忠,王谦,元昌安,林开平. 干旱气象. 2015(01)
博士论文
[1]基于粗糙集理论的森林病虫害预测模型与算法的研究[D]. 张艳荣.东北林业大学 2012
硕士论文
[1]Adaboost算法的并行化及其在目标分类中的应用[D]. 袁浩杰.华南理工大学 2015
[2]公交动态调度系统中的数据预测方法[D]. 刘亚彬.东北大学 2014
[3]基于MapReduce的KNN分类算法的研究与实现[D]. 乔鸿欣.北京交通大学 2012
本文编号：3721508
本文链接：https://www.wllwen.com/nykjlw/dzwbhlw/3721508.html
最近更新
教材专著
