面向物联网多维度数据的多级存储系统的设计与实现

发布时间：2021-03-09 00:49

　　随着物联网技术的迅速发展,物联网技术的应用范围也越来越广泛,越来越多的设备接入到物联网中。每一类设备会提供不同类型的数据信息,随着时间的发展,收集到的各种设备数据越来越多,单机的存储容量已经不能满足数据的存储需求;同时,单机存储数据量的增大也降低了数据查询的速度;此外,现有数据存储方式使数据扁平化,不易进行不同维度的数据关联。因此,如何存储物联网中各类传感设备所采集到的数据,如何对数据进行有效处理从而提升对不同维度数据的快速查询是急需解决的问题。为了解决上述问题,本文提出了一套物联网数据多级存储系统的设计方案,并设计和实现了一个面向物联网多维度数据的多级存储系统。在本文提出的方案中,第一级存储使用常用的关系型数据库存储传感设备解析后数据,为实时监控系统的实时数据查询提供支持;第一级存储系统中的数据会同步到第二级的分布式数据存储中,在第二级存储中建立全量数据的数据仓库,能够支持大规模数据的数据处理,同时数据在第二级存储中实现了分布式存储,并具高可用性;使用MapReduce模型对第二级存储中的数据按照不同的维度进行数据处理,并对处理后的数据按照不同维度进行存储作为第三级存储,为数据的目标... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：80 页

【学位级别】：硕士

【部分图文】：

图２－１?ＨＤＦＳ体系架构??ＨＤＦＳ集群中，主节点ＮａｍｅＮｏｄｅ负责管理和维护元数据信息，提供统一的??文件命名空间；数据节点ＤａｔａＮｏｄｅ存储数据并负责处理自身节点内所存储的数??

中的函数会进一步操作键值一样的＜ｋｅｙ，ｖａｌｕｅ＞＊的数值，之后会化简产生０或］??个键值对输出［６］，最后对所有化简输出的键值对合并，获取结果，ＭａｐＲｅｄｕｃｅ处??理过程如图２－２所示。??在本存储系统中，使用ＭａｐＲｅｄｕｃｅ计算模型对采集到的原始数据进行离线??处理。原始数据按照数据来源分类存储，通过ＭａｐＲｅｄｕｃｅ对原始数据按照不同??的维度进行处理，使系统能够按照不同的维度进行数据的存储。??Ｉｎｐｕｔ?Ｐａｉｒ〈Ｋｅｙ，?Ｉｎｐｕｔ?Ｐａｉｒ?＜Ｋｅｙ，??Ｖａｌｕｅ＞?Ｖａｌｕｅ＞??Ｉ?—?＿?Ｉ?—??—＾?????????????、???＾?＾??－??Ｄａｔａ?Ｓｔｏｒｅ?１?Ｄａｔａ?Ｓｔｏｒｅ?２??Ｍａｐ?Ｍａｐ??／ｒｘ??（ｋｅｙｌ，?（ｋｅｙ２，?（ｋｅｙ３

在架构上，ＨＢａｓｅ与其他分布式应用一样采用了主从架构，主节点为??ＨＭａｓｔｅｒ，从节点为?ＨＲｅｇｉｏｎ?Ｓｅｒｖｅｒ。ＨＭａｓｔｅｒ?是管理单元，ＨＲｅｇｉｏｎ?Ｓｅｒｖｅｒ?是实??际存储单元，其结构如图２－３所示。??ｇ??

【参考文献】：
期刊论文
[1]大数据关键技术[J]. 王秀磊,刘鹏.  中兴通讯技术. 2013(04)

硕士论文
[1]基于并行计算技术的数据融合系统设计与实现[D]. 杨春晖.北京邮电大学 2017
[2]基于AIS数据的海上交通密度计算及海事热点发现研究[D]. 宁建强.北京化工大学 2016
[3]基于Hadoop的大数据平台数据挖掘云服务研究[D]. 王莉.长江大学 2016
[4]雷达大数据存储与分析处理技术研究[D]. 孟凡君.中国舰船研究院 2016
[5]基于Hadoop的大数据存储关键技术研究[D]. 卢艳艳.华北电力大学 2016
[6]大数据分析仓库Hive存储结构扩展的设计和实现[D]. 王猛.上海交通大学 2015
[7]基于HBase的大数据存储查询技术研究[D]. 付文静.电子科技大学 2015
[8]负载均衡的大数据分布存储方法研究与实现[D]. 贺昱洁.上海交通大学 2015
[9]Hadoop大数据平台与传统数据仓库的协作研究[D]. 费仕忆.东华大学 2014
[10]基于并行计算的海量日志分析系统实现[D]. 白超.安徽大学 2013



本文编号：3071954