天山西部森林生态监测e-Science平台传感器数据存储策略研究

发布时间：2024-06-30 02:58

　　我国林业资源丰富、种类繁多,分布在全国各地的大小监测站搭载的各类传感器日积月累的监测生成了海量的数据,采用何种方式来有效地存储和管理这些数据是摆在我们面前的重要问题。在对传感器采集到的原始数据进行分析时发现这些数据或多或少均存在一些数值波动数据,为此本研究对这些数值波动数据进行了分析与总结,研究出了一套原始数据的误差消除算法。目前各类传感器监测到的原始数据存在较多误差和数值波动数据,有些数值波动是由于极端天气情况造成的正常数值波动,而有些数值波动是因为设备故障、外界干扰等原因造成的异常数值波动。因此,这些原始数据在存入数据库之前必须先经过人工处理数值波动的步骤,但是这样数据的准确性又受到了人为因素的干扰。本研究针对该问题采用天山西部某森林生态监测站的空气负离子浓度数据作为实验数据,研究了一套基于多元回归拟合的自动误差消除的算法,以简化数据处理程序,减少传感器监测的原始数据中存在的误差以及人为因素的影响,该算法拟合精度的浮动范围在14%以内。本研究比较了关系型和非关系型数据库的一般特性以及二者在存储海量数据时的优劣势,分析了目前8款主流NoSQL数据库的特性和适用场景,然后针对云平台中传...

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

图１－２?７ＴＳ架构??Ｆｉｇ．１－２?ＳｔｒｕｃＵｉｒｅ?ｏｆ?ＴＦＳ??

图１－２?７ＴＳ架构??Ｆｉｇ．１－２?ＳｔｒｕｃＵｉｒｅ?ｏｆ?ＴＦＳ??如图１－２所示，Ｔｆｓ架构中各节点负责的具体内容如下：??（１）?Ｃｌｉｅｎｔ：它是对数据进行访问的发起者，一般情况下它在访问系统中的数据的时??候需要通过Ｔｆｓ提供的访问接日来实现；??（２）?Ｎａｍｅ....

图２－１?Ｈａｄｏｏｐ体系结构图??Ｆｉｇ．２－１?Ｔｈｅ?ａｒｃｈｉ化別ｕｒｅ?ｏｆ?Ｈａｄｏｏｐ??

此外，ＨＤＦＳ也不能够有效地读写小文件，它通常用于对大文件的操作。对??小文件进行读写操作一般会导致导致大批的寻址，需要检索数据节点的每个小文件，所??有这些都是一种非常低效的数据访问模式。ＨＤＦＳ的系统架构如图２－２所示；??１４??

图２－２?ＨＤＦＳ系统架构图??Ｆｉｇ．２－２?Ｔｈｅ?ａｒｃｈｈｅｃｔｕｒｅ?ｏｆ?ＨＤＦＳ??

??图２－１?Ｈａｄｏｏｐ体系结构图??Ｆｉｇ．２－１?Ｔｈｅ?ａｒｃｈｉ化別ｕｒｅ?ｏｆ?Ｈａｄｏｏｐ??２．３分布式存储系统ＨＤＦＳ??ＨＤＦＳ巧ａｄｏｏｐ?Ｄｉｓ化化ｕｔｅｄ?Ｆｉｌｅ?Ｓｙｓｔｅｍ），即Ｈａｄｏｏｐ的分布式文件系统，它最大的优??势在于可Ｗ正常搭载于一般的....

图２－３?ＨＢａｓｅ基本架构图??Ｆｉｇ．２－３?Ｔｈｅ?ａｒｃｈＨｅｃＵｉｉ＇ｅ?ｏｆ?ＨＢａｓｅ??

２．５?ＨＢａｓｅ??ＨＢａｓｅ为基于列的数据库，它是分布式架构的，它的优势在于存储非结构化的数据。??其基本架构如图２－３所示：??＿＿＿＿＿＿＿＿＿＿＿＿＿?Ｉ，????ｒ．？?、?？ｒｉＴ，ｉ，ｎｍｎ？，?ｉｒ，．．－ｉｒ，?ｉｉｎｉｎ－Ｔ＾??Ｃｌｉｅｎｔ?？Ｚｏｏｋｅｅ....

本文编号：3998287