基于时空特性数据的分布式存储系统的设计与实现

发布时间：2021-03-23 18:58

　　时空数据具有空间性和时间性的特征,详细记录了事物的空间属性和随时间序列而改变的信息。在不断发展的信息化时代中,时空数据的应用变得更加广泛。从智慧城市监控器中捕获的图像数据,到各地方随时间变化的天气状态信息,再到应用程序所产生的日志信息,这些都是属于时空数据。而随着时空数据的广泛应用,如何对这些数据进行高效的存储和查询,成为了一个值得研究的课题。不同于传统的数据类型,时空数据具有空间性和时间性的特征。时空数据往往是随时间序列增长而产生,后期上层应用可能会对时空数据进行数据挖掘和智能分析,从而获取有用的信息。时空数据具有以下几个特点:存在一个空间属性,表明了数据的生成者;数据的产生具有时序性,往往是连续地写入系统;上层应用对时空数据的查询一般是大批量的;数据不存在修改,它表明了事物在某个空间和时间的真实性。因此,如何实现一个高效的面向时空数据的存储系统是本文需要研究的课题。本文设计并实现了一个基于时空数据的分布式存储系统,并详细地阐述了系统所涉及的理论基础、设计思路、实现方案以及测试分析。本文的主要完成的工作如下:（1）本文对分布式存储系统的相关理论技术进行了深入地研究;选取中心节点的方式... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：87 页

【学位级别】：硕士

【部分图文】：

CentralNodeB运行结果

61图 5-6 DataNode B 运行结果5.2.2 数据存储测试本测试通过客户端 Client 提供的 API 进行数据存储。Client 进程模拟时空数据的生成，每次写入的数据大小为 3KB，以每秒写入 10 条数据的速率向 DataNode

将 DataNode 节点的 Buffer 大小设de 数据分片的时间范围设置为 1 天，运行系统t 进程，Client 进程调用 createPlaceID 接口获取调用 put 接口写入数据，数据大小为 3KB，写续调用 put 接口，直到存储 1 万个数据。Node 节点的数据存储情况与 CentralNode 集群成了一个为 ID3215710 的空间 ID，并通过请求odeA 中。DataNodeA 成功将数据存储到了十示了数据块里面第一条记录的 key 值，key 值 5-7 所示，其中 Manifest 文件保存了数据块与 CentralNode Leader 节点保持心跳，并将元er 节点上，CentralNode Leader 通过 ZooKeepewer 节点上，如图 5-8 所示。

【参考文献】：
期刊论文
[1]面向大数据的时空数据挖掘综述[J]. 吉根林,赵斌.  南京师大学报(自然科学版). 2014(01)

博士论文
[1]时空数据模型及其应用研究[D]. 曹闻.解放军信息工程大学 2011



本文编号：3096265