面向智慧农业的分布式存储系统的研究与实现

发布时间：2020-08-18 07:58

【摘要】：随着我国智慧农业的不断发展,各种类型的农业数据呈现爆发式的增长。同时,农业数据存在存储效率不高、核心数据易丢失、数据存储平台落后以及数据共享开放不足等问题,严重制约着我国智慧农业的发展。为保证农业数据存储系统的可靠性、可扩展性以及数据的高效共享,促进智慧农业的快速发展,本文提出一种基于REST和MongoDB的分布式数据存储方案。本文首先介绍智慧农业数据存储方案所用到的关键技术。接着对智慧农业中的数据特征和存储需求进行分析,选择MongoDB数据库作为数据持久层的技术进行存储。最后,结合智慧农业数据特征和MongoDB的文档模型,构建了基于MongoDB数据库的农业数据存储模型,并对具有代表性的农业数据存储模型进行了详细设计。其次,用于压缩农业传感数据的旋转门压缩算法(swing door trending,SDT)存在抗噪性弱、数据还原误差较大以及压缩精度参数选择困难等不足。因此,本文提出一种线性自适应的旋转门压缩算法(Linear adaptive swing door trending,LA-SDT)。实验结果证明,LA-SDT算法的压缩性能比较SDT算法压缩比提高了18.3%,而压缩误差提高了62.7%。最后,为提高农业数据的共享性和分布式系统的易扩展性,本文采用REST和MongoDB搭建智慧农业数据平台。该平台的主要功能模块包括:基于Mongoose工具的数据模型构建模块,基于Mongoose和Express框架实现REST风格的数据接入与访问模块,运用MapReduce计算模型的数据处理模块。最后在实验环境部署MongoDB的分布式存储集群,并对该存储集群的可靠性,可用性和易可扩展性进行测试。
【学位授予单位】：华侨大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP333;S126
【图文】：

复制集结构

架构图,架构

员节点越有可能成为主节点。这样做的目的可以使高性能的节点被先级，确保有更高的机率被选为主节点对外提供服务。而性能较差为数据备份，保证数据的可用性和可靠性。4）网络连接：集群内的成员要与其它大多数成员建立连接，保持网络不稳定，某节点无法持续和大多数成员保持通讯关系。则该节供稳定的服务，即使性能再优越也无法被选举为主节点。2 MongoDB 分片ongoDB 使用分片机制[28]来完成集群存储容量的增大。该机制通过片键，来保证数据的分片存储。一方面，分片机制不仅能够让集群使用廉价的服务器就实现数据海量存储。同时，由于数据被分片部服务器上，降低了单个服务器 CPU、磁盘以及内存的读写压力，增性能。图 2.2 所示，MongoDB 分片集群中由三个重要角色组成，包括 SConfig 服务器和 Mongos 服务器。

软件架构

图 2.3 REST 的软件架构图如图 2.4 是 RPC 的软件架构图。该架构通常采用 SOAP 协议对 RPC 调用语义进行封装。在进行资源操作时，将操作语义用 SOAP 协议封装成数据。然后调用 HTTP 的 POST 方法将数据发送给数据解析服务器。通过服务器解析出操作语义后调用对应资源的操作方法操作数据库。最后，将操作结果再次进行封装返回给客户端。整个过程只是将 HTTP 协议作为传输层协议进行数据传输，并没有充分发挥 HTTP 协议的优势。

【相似文献】