基于云计算的海量传感器信息存储的扩展研究和实现

发布时间：2017-12-18 17:00

  本文关键词：基于云计算的海量传感器信息存储的扩展研究和实现

  更多相关文章： 海量传感数据 HBase 集群扩展 任务调度 负载均衡

【摘要】：随着"智慧城市"和"互联网+"的快速发展,"智能交通"和"智能电网"的发展已趋于成熟。最近频发的电梯安全事故,又推动了"智能电梯"的发展。智能电梯系统部署的庞大规模的传感器将采集到更大级别的传感数据,如何高效存储采集的海量传感数据仍为物联网、云计算和大数据领域的难题之一。上述数据多以时序数据为主,通常具有数据量大、持续到达、多来源等特点,是一种典型的流数据。现有的基于HBase的交通流数据实时存储系统,采用了分布式存储架构,将交通流数据并行存储到HBase集群服务器中。但由于上述系统的数据代理服务器是单一服务器节点,当数据写入并发量大时,仍然存在存储效率低下和系统不可用的问题。针对以上问题,本文研究了一种基于云计算的海量传感信息存储系统的扩展方法。主要研究工作如下:(1)针对系统不可用问题,对单点数据代理进行集群扩展。主要通过将单点扩展为集群架构,实现系统的高可用性。(2)针对系统存储性能低下问题,增设了任务调度层,主要包括心跳检测器和任务管理器。前者负责检测集群中各个数据代理服务器的健康状态;后者根据任务的资源需求与在线的数据代理服务器的当前资源,进行有效映射。(3)为实现集群的负载均衡,设计并实现了一种基于负载均衡的任务调度算法。该算法以服务器集群当前的平均处理能力为阈值,将待处理任务组合并按资源需求从大到小排列,同时对在线的数据代理服务器按照当前的处理能力也进行从大到小排列,最后根据阈值,将任务与数据代理服务器按序匹配,实现了集群中各个数据代理服务器之间的负载均衡,提高了系统稳定性和存储性能。最后,通过一系列的实验结果及对比分析表明,本文设计并实现的扩展系统架构及调度算法,具有较好的存储性能、高可用性和良好的均衡性,既提高了系统的存储性能,也保证了系统的可用性。
【学位授予单位】：北方工业大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP212;TP333

【参考文献】

中国期刊全文数据库 前10条

1 熊安萍;王运萍;邹洋;;基于数据冗余的HBase合并机制研究[J];计算机工程;2017年02期

2 祝若鑫;郭建忠;薛帅;范建永;陈科;;基于HBase的矢量数据云存储策略研究[J];测绘科学技术学报;2016年05期

3 吴琰;唐小明;;基于HBase的分布式空间数据库技术[J];吉林大学学报(理学版);2016年06期

4 齐林海;陈思路;任旭;熊里;;能源互联网信息特征及其云平台处理技术[J];电力信息与通信技术;2016年09期

5 徐爱萍;吴笛;徐武平;陈军;;在线多任务异构云服务器负载均衡算法研究[J];计算机科学;2016年06期

6 类兴邦;房俊;;基于融合数据库的海量传感器信息存储架构[J];计算机科学;2016年06期

7 骆剑锋;陈俞强;;采用环加星型网络结构负载均衡集群技术的云平台设计[J];华侨大学学报(自然科学版);2016年02期

8 魏蔚;刘扬;杨卫东;;一种通用云计算资源调度问题的快速近似算法[J];计算机研究与发展;2016年03期

9 薛涛;马腾;;基于资源权重最大资源利用率的动态资源调度算法[J];计算机应用研究;2016年05期

10 杨冬菊;林绍福;张程;;面向信息资源聚合的物联网智能信息中心框架[J];计算机工程与科学;2015年02期

中国硕士学位论文全文数据库 前3条

1 周婉;基于云计算的资源调度算法研究[D];北京交通大学;2016年

2 王利萍;基于Nginx服务器集群负载均衡技术的研究与改进[D];山东大学;2015年

3 丁学智;一种面向分布式服务器集群的动态负载均衡系统的实现[D];北京邮电大学;2014年

，

本文编号：1304902