农业物联网数据存储管理系统的设计与实现

发布时间：2020-07-13 09:55

【摘要】：随着物联网在农业生产中的深入应用,其系统的规模也逐渐增大,农业数据越来越呈现出海量化、异构化、非结构化的趋势,对数据存储系统提出了更高的要求。由于传统的基于RDBMS(Relational Database Management System)的存储系统模式简单、不易扩展、在并发性及容错性上都很难满足当代农业物联网海量数据存储的要求。分布式存储与NoSQL(Not Only SQL)技术的发展为大数据时代数据存储提供了新的解决思路。鉴于商业存储扩容成本太高,如何在满足海量存储、高性能、高可靠性及高扩展性的前提下构建廉价高效的农业物联网数据存储系统是本文研究的重点。基于分布式存储与NoSQL技术,本文开展了如下工作:(1)对农业物联网系统采集的数据进行分类,分析其数据特征。分析了传统数据存储系统的不足,并详细介绍了数据存储技术及Hadoop技术研究进展。通过对比RDBMS与NoSQL的区别以及分析Hadoop在数据存储中的不足,结合农业物联网数据特征设计了改进方案。(2)根据农业物联网数据特征进行数据存储的需求分析,基于Hadoop平台设计了农业物联网数据存储模型的总体架构,对存储模型中的关键模块进行了详细设计,并分别设计了物联网系统中结构化数据和非结构化数据的存储方案。存储模型采用Master/Slava架构,实现了在廉价PC上存储海量物联网数据的高效性、高扩展性与高容错性。(3)基于分布式面向列的HBase(Hadoop Database)数据库,通过乐观锁机制设计了事务处理模块,实现HBase对强事务性的支持;通过小文件“打包”策略对海量图片进行合并,并结合文件索引设计了元数据与物理存储位置的映射规则,实现HBase对非结构化数据元数据的存储,有效降低了主节点NameNode的压力;通过加权轮询法负载均衡策略和Redis缓存系统进一步提高了存储系统的稳定性与高效性。(4)通过搭建存储模型测试集群,对结构化数据存储方案、非结构化数据存储方案及主节点内存消耗进行了测试,并在存储模型的基础上设计与实现了农业物联网数据管理系统原型,在应用层面上验证了农业物联网数据存储模型的实用性。本文基于hadoop平台构建了农业物联网数据存储管理系统,为海量农业物联网数据存储提供了解决方案,对大数据时代农业物联网数据的高效可靠存储提供参考价值。
【学位授予单位】：河南农业大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：S126;TP391.44;TN929.5
【图文】：

10图 3-1 研究思路3.2 相关技术和理论3.2.1 HadoopHadoop 最初来源于网络搜索引擎 Nutch，现已成为 Apache 软件基金会的一项顶级项目。作为一种大规模数据存储和数据分析的开源架构，其核心思想是从单个服务器扩展到数千台机器来构建大规模的分布式存储与计算系统。Hadoop 中最重要的两个基本组件分别是负责存储的分布式文件系统（Hadoop Distributed File System,简称 HDFS）和负责数据分析的并行计算框架（MapReduce），其他组件为基本组件提供环境支持和功能扩展服务,Hadoop 基本体

图 3-2 Hadoop 基本体系结构其成本低，可扩展，效率高，免费开源和可靠性高等特点，Hadoop 在数被广泛使用。近几年，Apache 也对其进行了不断的改进和完善。在 Hadoo制（HA）使主节点 master 的单节点故障的问题得以解决。另外，YARN入，使得 1.X 版本中 JobTracker 的两大功能相分离，运行时环境变为 YA的管理，使得集群可以同时支持在线批处理和实时流处理的应用场景。3.0 当中，引入的 HDFS 纠删码（Erasure Coding）和 MapReduce 任务级evel native），使 Hadoop 框架对存储空间的利用率和 MapReduce 中 shuffle有较大的提升。Hadoop1.0 与 2.0 区别如图 3-3 所示。

Hadoop1.0与2.0区别

【参考文献】

相关期刊论文 前10条

1 张宇;张可辉;严小青;;农业物联网架构、应用及社会经济效益[J];农机化研究;2014年10期

2 王彦明;;近年来Hadoop国内研究进展[J];现代情报;2014年08期

3 张欣晨;杨庚;;Hadoop环境中基于属性和定长密文的访问控制方法[J];计算机工程与应用;2015年23期

4 秦怀斌;李道亮;郭理;;农业物联网的发展及关键技术应用进展[J];农机化研究;2014年04期

5 邵秀丽;耿梅洁;蒋鸿玲;;基于MapReduce检测僵尸网络的贝叶斯算法的实现[J];计算机科学;2014年03期

6 赵静宇;符啸威;许景润;;关系模型数据库中实体间联系的理论研究与应用[J];电子技术与软件工程;2014年02期

7 丁祥武;李清炳;乐嘉锦;;使用MapReduce构建列存储数据的索引[J];计算机应用与软件;2014年02期

8 刘渊;王瑞智;杨泽林;;农业物联网应用发展研究[J];广东农业科学;2013年23期

9 唐珂;;国外农业物联网技术发展及对我国的启示[J];中国科学院院刊;2013年06期

10 周世龙;陈兴蜀;罗永刚;;Hadoop视角下的Nutch爬行性能优化[J];计算机应用;2013年10期

相关会议论文 前1条

1 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

相关重要报纸文章 前1条

1 张冬;;浅谈互联网运营商的特殊集群——NoSQL[N];网络世界;2011年

相关博士学位论文 前2条

1 张杰;一种高速数据存储方法的研究[D];中国科学技术大学;2013年

2 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年

相关硕士学位论文 前10条

1 张硕;基于Hadoop的海量小文件存储性能优化研究[D];湖南大学;2016年

2 唐皓;实时数据库设计及实现和事务调度算法的研究[D];哈尔滨工业大学;2013年

3 卓海艺;基于HBase的海量数据实时查询系统设计与实现[D];北京邮电大学;2013年

4 马惠芳;非结构化数据采集和检索技术的研究和应用[D];东华大学;2013年

5 贺海苗;数据服务电子商务平台建设研究[D];华中科技大学;2012年

6 李林;基于hadoop的海量图片存储模型的分析和设计[D];杭州电子科技大学;2011年

7 韩伟;基于Hadoop云计算平台下DDoS攻击防御研究[D];太原科技大学;2011年

8 杨寅;社会网络分析工具中的分布式最小生成树算法[D];北京邮电大学;2011年

9 李克然;基于云计算的电子商务数据管理模式研究[D];西安电子科技大学;2011年

10 朱杰;云计算在基于贝叶斯分类的垃圾短信过滤中的研究与应用[D];电子科技大学;2010年

本文编号：2753303