农机田间作业大数据处理关键技术研究及平台构建

发布时间：2021-05-13 17:42

　　随着传感器、通讯、物联网及大数据等技术的飞速发展,人类已经进入万物互联的5G时代。我国是农业大国,亦是农机制造与使用大国。农业生产模式不一、田间环境差、生产环节繁杂、影响因素多样,使得农机田间作业产生的数据呈现存储介质多样、结构复杂、维度高、时效性强等特性,易产生云端运算负载大、响应速度慢、数据异常等突出问题。为此,本文研究了负载均衡大规模集群数据清洗与数据处理方法,建立了农机田间作业地块时空数据库及数据平台,优化了农机田间作业数据的检索技术。主要研究内容包括:1.对农机田间作业数据进行分类,建立了农机田间作业地块四维时空数据库。该数据库重点描述了不同时间及动态环境下地块的位置信息、气象信息、附着物信息及地块作业信息,以面向对象的方式描述农机田间作业数据之间的拓扑关系,并结合WebGIS技术对相关数据进行可视化。2.对农机田间作业数据在传输过程中出现的异常问题进行研究,提出了基于Flink的数据清洗算法。该算法通过方差约束的方式确定异常数据,通过最小变动原则求解一元二次方程的方式对异常数据做原始估算,通过ARX模型迭代计算出最优估算值,试验结果表明:当数据量达到1×105时,算法的准确... 

【文章来源】：中国农业机械化科学研究院北京市

【文章页数】：76 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 国外研究现状
        1.2.2 国内研究现状
    1.3 研究目标及研究内容
        1.3.1 研究目标
        1.3.2 研究内容
    1.4 技术路线
    1.5 论文组织结构
    1.6 本章小结
第二章 农机田间作业地块时空数据库构建与实现
    2.1 农机田间作业地块数据库的构建
        2.1.1 采集对象的选取
        2.1.2 采集方法
    2.2 农机田间作业地块数据库的实现
        2.2.1 数据获取过程
        2.2.2 数据库的实现
    2.3 本章小结
第三章 基于Flink的农机田间作业数据清洗方法
    3.1 农机田间作业异常数据识别与清洗
        3.1.1 异常数据的识别
        3.1.2 异常数据清洗方案
    3.2 流式计算框架Flink
        3.2.1 Flink简介
        3.2.2 Flink窗口计算库
        3.2.3 Flink容错机制
    3.3 算法详情
        3.3.1 符号定义
        3.3.2 确定异常数据
        3.3.3 生成候选数据
        3.3.4 数据迭代修正
    3.4 试验
        3.4.1 试验方案设计
        3.4.2 试验验证
    3.5 本章小结
第四章 基于Solr的农机田间作业数据二级非主键索引方法
    4.1 数据存储HBase
        4.1.1 数据库的选取
        4.1.2 HBase简介
    4.2 HBase数据库的实现
        4.2.1 行键的设计
        4.2.2 列族的设计
    4.3 农机田间作业数据检索的优化
        4.3.1 作业数据搜索引擎Solr
        4.3.2 基于Solr的二级非主键地块数据索引算法的设计
        4.3.3 试验与验证
    4.4 本章小结
第五章 农机田间作业数据平台的构建与实现
    5.1 系统总体架构
    5.2 系统功能设计及实现
        5.2.1 数据处理模块设计及实现
        5.2.2 基本功能设计及实现
    5.3 系统的部署与搭建
        5.3.1 硬件的部署
        5.3.2 软件的部署
    5.4 系统的测试
        5.4.1 系统接口测试
        5.4.2 系统压力测试
    5.5 本章小结
第六章 结论与展望
    6.1 结论
    6.2 展望
参考文献
致谢
作者简介


【参考文献】：
期刊论文
[1]力推数字技术与农业农村的深度融合[J]. 汪懋华,李道亮.  中国农业文摘-农业工程. 2020(02)
[2]基于面向对象分类法的农田识别提取[J]. 张威,刘毅,邵景安.  灌溉排水学报. 2019(12)
[3]基于Solr的农田数据索引方法与大数据平台构建[J]. 苑严伟,冀福华,赵博,姜含露,王猛,樊学谦.  农业机械学报. 2019(11)
[4]基于改进CoSaMP的农田信息异常事件检测算法[J]. 肖利平,全腊珍,余波,霍览宇.  农业机械学报. 2019(10)
[5]农田信息采集车设计与试验[J]. 姚照胜,刘涛,刘升平,邓国强,武威,孙成明.  农业机械学报. 2019(10)
[6]基于云平台的农业综合信息应用系统的设计与开发[J]. 张学利,马娜,朱瑜馨,赵永明,汪健平,刘国.  地理空间信息. 2019(02)
[7]智慧农业发展现状及战略目标研究[J]. 赵春江.  智慧农业. 2019(01)
[8]助力乡村振兴 推进“智慧农业”创新发展[J]. 汪懋华.  智慧农业. 2019(01)
[9]基于GPS的农田信息采集系统研究[J]. 陈宏,王维洲,廖志军,郑成贺,廖勤武.  国外电子测量技术. 2018(03)
[10]农业物联网技术研究进展与发展趋势分析[J]. 李道亮,杨昊.  农业机械学报. 2018(01)

博士论文
[1]面向农业领域的大数据关键技术研究[D]. 郭雷风.中国农业科学院 2016

硕士论文
[1]多数据源隐私保护数据清洗与联合学习研究[D]. 杨烨.西安电子科技大学 2019
[2]基于Spark的农业大数据挖掘系统的设计与实现[D]. 郭二秀.浙江大学 2018
[3]基于JMeter的性能自动化测试框架的设计与实现[D]. 侯星星.西安电子科技大学 2018
[4]农业大数据平台的实现与数据分析算法[D]. 徐勇.东北农业大学 2017
[5]基于JMeter的Web Service自动化测试研究与应用[D]. 赵东旭.湖南大学 2015
[6]基于GDAL的农田信息系统研究[D]. 赵辉辉.东北农业大学 2011



本文编号：3184442