基于负载均衡的多源流数据实时存储系统

发布时间：2018-06-15 20:03

  本文选题：多源流数据 + HBase　； 参考：《计算机工程与科学》2017年04期

【摘要】：物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题。针对该问题,设计并实现了基于负载均衡的多源流数据实时存储系统。该系统将数据代理扩展为集群架构,提出了一种基于负载均衡的任务调度算法,实现了任务与数据代理之间的按序匹配,使数据代理集群负载均衡地处理任务,实现数据并行存储到HBase数据库中。实验对比结果表明:该系统使各数据代理的数据分配比例维持在0.3~0.4,同时以约1.5倍于单数据代理的速度将数据写入HBase数据库。
[Abstract]:The perceptual stream data of the Internet of things are mainly temporal data, which have the characteristics of large amount of data, continuous arrival, multiple sources, and so on. The existing HBAS-based traffic flow data storage system still has the problems of low storage efficiency and low system availability when the data is written concurrently. To solve this problem, a real-time storage system of multi-source and stream data based on load-balancing is designed and implemented. The system extends the data agent to cluster architecture, proposes a task scheduling algorithm based on load balancing, realizes the sequential matching between the task and the data agent, and makes the data agent cluster deal with the tasks in a balanced manner. The data is stored in the HBase database in parallel. The experimental results show that the system keeps the data distribution ratio of each data agent at 0.3G0. 4, and writes the data into HBase database at a speed of about 1.5 times that of single data agent.
【作者单位】： 大规模流数据集成与分析技术北京市重点实验室;北方工业大学数据工程研究院;
【基金】：北京市自然科学基金(4131001)
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 范存;;井下仪器高可靠性大容量实时存储系统设计[J];中国石油和化工标准与质量;2014年04期

2 李清军;基于硬盘的视频实时存储方法的研究[J];光学精密工程;2000年02期

3 ;存储整个世界——ATP 16GB Class6 SDHC面市[J];电脑迷;2008年05期

4 彭鼎茂;赵俊渭;张法利;;一种水下运动目标轨迹的实时存储系统设计[J];电声技术;2007年01期

5 宁交贤,宁烽,罗兵;一个新的高速大容量数据采集及实时存储处理系统的构想和实现[J];实验力学;1996年04期

6 展之宏;动态大容量影像数据实时存储的研究[J];计算机工程;2003年07期

7 展之宏;多驱动器实现动态大容量影像实时存储[J];计算机工程与设计;2003年05期

8 李彤华;王鑫;;基于SAN构建高可用实时存储系统[J];遥测遥控;2011年05期

9 张定国;李梅;;基于FPGA控制的高速图像实时存储[J];现代电子技术;2007年16期

10 ;[J];;年期

相关硕士学位论文 前1条

1 高岩;数字图像实时存储系统的设计[D];东北师范大学;2004年

，

本文编号：2023414