面向柑橘病虫害预警的Hadoop数据挖掘技术研究

发布时间：2021-01-29 16:26

　　柑橘种植产业在江西省种植业中处于重要的地位,是江西省果业工程计划的一个重点。柑橘类农作物由于其自身的生长特点,容易遭到病虫害侵袭,而病虫害一旦发生且在短时间内没有得到彻底清除,就会迅速繁衍,造成大规模性的柑橘类种植灾害,进而导致柑橘的产量和品质下降。柑橘病虫害的发生与温度、湿度、土壤等因素息息相关,因此,通过分析柑橘种植过程中的这些相关数据,改进病虫害诊断预警的数据挖掘方法,最终构建出柑橘类农作物病虫害预警系统。研究成果对我国农作物病虫害诊断预警具有一定的理论意义和应用价值。在对柑橘种植数据进行分析和处理过程中,随着历史数据量的逐渐增多,单个算法模型已经不能满足现实中大数据量的分析和挖掘需求,算法的集成学习和并行化计算成为数据挖掘的主要研究方向,本文采用决策树挖掘算法,研究重点为决策树算法的集成学习及其在Hadoop中的并行化计算。首先,初步介绍基于Hadoop大数据分布式处理系统,主要包括HDFS的系统架构、运行机制和容错机制,以及MapReduce编程模型,MapReduce并行化过程,然后介绍数据挖掘过程中数据处理流程和常用的数据挖掘算法,并详细说明本文中柑橘病虫害相关数据的来源... 

【文章来源】：华东交通大学江西省

【文章页数】：78 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
主要符号说明
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 农业病虫害预警的研究现状
        1.2.2 数据挖掘技术在农业领域的研究现状
    1.3 本文的主要研究内容
    1.4 本文的组织结构及课题来源
第二章 Hadoop及数据挖掘相关技术概述
    2.1 Hadoop及其相关模块
        2.1.1 HDFS架构及原理
        2.1.2 MapReduce编程模型
        2.1.3 Mahout算法模块
    2.2 数据挖掘概述
        2.2.1 数据挖掘流程
        2.2.2 数据挖掘算法
    2.3 本章小结
第三章 决策树及集成学习挖掘算法研究
    3.1 决策树算法
        3.1.1 决策树模型
        3.1.2 ID3算法
        3.1.3 C4.5算法
        3.1.4 CART算法
    3.2 集成学习
        3.2.1 Bagging集成学习
        3.2.2 Booting集成学习
    3.3 本章小结
第四章 基于Hadoop的决策树算法研究与实现
    4.1 基于Hadoop的随机森林算法及其并行化实现
        4.1.1 随机森林算法
        4.1.2 随机森林算法并行化实现
    4.2 基于Hadoop的迭代决策树算法及其并行化实现
        4.2.1 梯度提升决策树
        4.2.2 迭代决策树算法并行化实现
    4.3 实验设计与结果分析
        4.3.1 实验环境部署
        4.3.2 柑橘病虫害数据收集与处理
        4.3.3 实验结果对比与分析
    4.4 本章小结
第五章 柑橘病虫害预警系统的设计与实现
    5.1 系统总体设计
    5.2 数据引擎
        5.2.1 数据管理模块
        5.2.2 大数据挖掘模块
        5.2.3 数据预测模块
    5.3 系统管理控制功能
    5.4 系统主要功能模块实现
        5.4.1 开发工具及环境
        5.4.2 功能实现
        5.4.3 系统验证
    5.5 本章小结
第六章 总结与展望
参考文献
个人简历 在读期间发表的学术论文
致谢


【参考文献】：
期刊论文
[1]基于Hadoop平台的MapReduce模型任务调度算法的研究与改进[J]. 李霞,柯琦.  数字技术与应用. 2017(02)
[2]基于大数据的图书馆移动信息服务创新研究[J]. 桂玉杰,杜涛,蔡静,张秋淼,汤文亮.  软件导刊. 2016(12)
[3]基于云计算的柑橘市场信息预测平台构建研究[J]. 王聪,黄晓英.  中国农业信息. 2016(14)
[4]CMADS数据集及其在流域水文模型中的驱动作用——以黑河流域为例[J]. 孟现勇,师春香,刘时银,王浩,雷晓辉,刘志辉,吉晓楠,蔡思宇,赵求东.  人民珠江. 2016(07)
[5]基于Hadoop的公共建筑能耗数据挖掘方法[J]. 王磊,张永坚,贾继鹏,牛晓光,聂昌龙.  计算机系统应用. 2016(03)
[6]基于K-means聚类算法的叶螨图像分割与识别[J]. 刘国成,张杨,黄建华,汤文亮.  昆虫学报. 2015 (12)
[7]鄱阳湖生态经济区农业生态化探析[J]. 席鹭军.  湖北经济学院学报(人文社会科学版). 2015(11)
[8]柑橘病虫害综合防控技术[J]. 来代芬.  农技服务. 2015(06)
[9]圆形分布统计的江西省柑橘病虫害时间格局分析[J]. 张伟,戴小华,徐家生,王飞.  赣南师范学院学报. 2014(06)
[10]基于MVC的长春市玉米病虫害与缺素诊断专家系统的设计与实现[J]. 司秀丽,李伟为.  贵州农业科学. 2014(06)

博士论文
[1]基于不确定理论和机器学习的知识发现研究[D]. 刘后胜.中国科学技术大学 2008

硕士论文
[1]决策树和关联规则技术在高职院校招生工作中的应用研究[D]. 曲俊燕.郑州大学 2016
[2]随机森林算法处理不平衡数据的改进及其并行化[D]. 钟龙申.广东工业大学 2016
[3]基于决策树C4.5算法剪枝策略的改进研究[D]. 邱磊.华中师范大学 2016
[4]基于Hadoop的决策树算法改进及林业数据分类预测研究[D]. 李海涛.东北林业大学 2016
[5]基于YARN和Spark框架的数据挖掘算法并行研究[D]. 陈名辉.湖南师范大学 2016
[6]面向智慧农业种植过程的数据采集平台的研究[D]. 牛鸽.浙江理工大学 2016
[7]基于Hadoop大数据平台资源及用户行为检测技术的研究[D]. 王骁.北京交通大学 2015
[8]基于Hadoop的MapReduce的性能分析与优化[D]. 戴新华.南京邮电大学 2015
[9]数据挖掘的决策树技术在高校毕业生管理中的应用[D]. 瞿花斌.山东大学 2014
[10]自适应属性选择的隐朴素贝叶斯算法研究及其应用[D]. 瞿忠魁.湖南大学 2014



本文编号：3007196