一种基于HBase的智能电网时序大数据处理方法

发布时间：2017-10-21 15:26

  本文关键词：一种基于HBase的智能电网时序大数据处理方法

  更多相关文章： 大数据 物联网 HBase 时序数据 性能优化

【摘要】：随着物联网关键技术与理论的发展,物联网应用受到了越来越多的关注。智能电网是一类典型的物联网应用,遍布全网的传感器收集及产生了大量反映关键设备运行状态的时序数据。如何利用时序数据确保智能电网的安全以及稳定运行是当前的研究热点之一。针对智能电网时序数据设备多、数据规模大、产生速度快等特点,提出了一种基于HBase的海量时序数据存储处理方法,着重介绍了如何利用策略驱动技术实现时序数据的灵活存储与处理。通过构建HBase集群,验证了该方法的有效性。
【作者单位】： 国网电科院江苏瑞中数据股份有限公司;南京大学计算机科学与技术系;
【关键词】： 大数据 物联网 HBase 时序数据 性能优化
【基金】：国家863计划(2011AA05A116) 国家电网科技项目(62KJ130501B1003620120)
【分类号】：TM76;TP391.44;TN929.5
【正文快照】： 引言随着“物联网”时代的来临,新一代IT技术将被充分地运用在各行各业之中。传感器作为其基本设施,被广泛部署在各行业中,特别是在电力、交通、石油、石化、航空、国防、水情监测、水利、冶金、环保等面向工业过程控制重要行业,大量地使用传感器设备对重点设备、重点部位、重

【共引文献】

中国期刊全文数据库 前10条

1 刘杨;冯永祥;;公用工程实时数据库系统的研究与设计[J];包钢科技;2007年02期

2 国志宏,王X,王强,王宏安;火电厂SIS系统中实时数据库的研究和应用[J];电力信息化;2004年05期

3 张晓楠;何熠;吴爱国;韩斌;;监控组态软件数据库系统体系的研究及实现[J];低压电器;2007年05期

4 郑广寰;林锦贤;;数据流上基于代价优化的机制研究[J];福建电脑;2006年09期

5 殷卫红;刘亚成;;电网监控系统实时数据库的设计与实现[J];华东电力;2006年12期

6 孙红;姚新苗;;一种基于两阶段封锁的分布式实时提交协议[J];上海理工大学学报;2009年03期

7 白天;李国徽;刘云生;;一种实时数据库服务质量管理策略[J];湖南大学学报(自然科学版);2011年11期

8 向军;李国徽;;基于能耗的移动实时数据库系统服务质量管理[J];华中科技大学学报(自然科学版);2008年05期

9 杨庆 ,戴国忠 ,叶志宝 ,王宏安;流程工业CIMS中的实时数据库技术[J];计算机工程与应用;2001年14期

10 向军;;基于遍历有向非循环图的实时事务调度算法[J];计算机工程与应用;2010年19期

中国重要会议论文全文数据库 前1条

1 韩启龙;潘海为;印桂生;郝忠孝;;实时数据库自适应乐观并发控制协议[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

中国博士学位论文全文数据库 前6条

1 白天;维护数据时间一致性的实时事务调度策略研究[D];华中科技大学;2012年

2 李剑军;实时数据库系统节能降负策略研究[D];华中科技大学;2012年

3 王永炎;实时事务并发控制算法优化[D];中国科学院研究生院（软件研究所）;2004年

4 徐超;面向大型工程健康监测的无线传感器网络基本理论和关键技术研究[D];武汉理工大学;2007年

5 王胜红;印铁烘房生产线自动化系统的控制技术研究[D];南京理工大学;2007年

6 向军;移动实时数据库系统服务质量管理[D];华中科技大学;2008年

中国硕士学位论文全文数据库 前10条

1 宋洪俊;基于OPC的实时数据库接口设计与实现[D];山东科技大学;2010年

2 王平;分布式内存数据库系统的设计与应用[D];华东师范大学;2011年

3 雷海英;胜利油田滨南电网变电站综合自动化改造的研究[D];山东大学;2010年

4 钟文晶;实时数据可靠传输与数据集成技术的研究[D];华北电力大学（北京）;2011年

5 宋超;监控组态软件实时数据库的研究与应用[D];济南大学;2011年

6 于治国;电厂厂级监控信息系统的设计与实现[D];山东大学;2011年

7 肖超群;汽车内饰件成型生产线自动控制系统的研究与设计[D];湘潭大学;2011年

8 张武;ATRs-EDB系统的实时数据定义与操作[D];华中科技大学;2010年

9 牛津文;ARTs-EDB系统的时态数据存储及索引技术研究[D];华中科技大学;2010年

10 吴家盛;支持无线传感器网络的实时数据库存储管理[D];华中科技大学;2010年

【相似文献】

中国期刊全文数据库 前10条

1 刘昆;李颖芳;李红林;;一种时序数据间断频繁项挖掘算法[J];科技视界;2013年06期

2 周家杰;余丹;马世龙;陈丽萍;;面向航天器测试的时序数据模式表示方法研究[J];计算机应用研究;2011年01期

3 孟娜;周以齐;陈新立;;时序数据的随机子空间模型辨识和一步预测[J];机械科学与技术;2007年09期

4 刘齐宏;李天德;周志斌;易彬;唐常杰;刘齐巍;;基于RFID与基因表达式编程的经济统计时序挖掘[J];四川大学学报(工程科学版);2008年05期

5 董辉;方晓;方跃胜;;一种时序关联规则挖掘算法的研究与实现[J];长春工程学院学报(自然科学版);2012年01期

6 王加阳,廖超;基于粗糙熵的时序数据属性约简及规则提取研究[J];湖南大学学报(自然科学版);2005年04期

7 叶晴;;集思特思发布新一代时序数据产品TSM7[J];中国水利;2009年04期

8 彭宏;基于小波变换的时序数据相似性挖掘[J];西华大学学报(自然科学版);2005年01期

9 王加阳,李超良,李睿;线性回归法在时序数据聚集中的应用[J];企业技术开发;2003年13期

10 贾明明;刘殿伟;宋开山;王宗明;姜广甲;杜嘉;曾丽红;;基于MODIS时序数据的澳大利亚土地利用/覆被分类与验证[J];遥感技术与应用;2010年03期

中国重要会议论文全文数据库 前2条

1 罗雄飞;王宏安;田丰;戴国忠;滕东兴;;FisheyeLines:一种时序数据的可视化技术[A];第四届和谐人机环境联合学术会议论文集[C];2008年

2 陈懿冰;张玲玲;石勇;;基于改进的支持向量回归机的金融时序预测[A];第六届（2011）中国管理学年会论文摘要集[C];2011年

中国博士学位论文全文数据库 前1条

1 程文聪;面向大规模网络安全态势分析的时序数据挖掘关键技术研究[D];国防科学技术大学;2010年

中国硕士学位论文全文数据库 前10条

1 韩骅宇;时序数据的高效存储与检索[D];北京交通大学;2014年

2 周强;时序数据挖掘在经济领域中的应用研究[D];合肥工业大学;2005年

3 花珊;面向时序数据流的分布式缓存系统设计与实现[D];中山大学;2014年

4 周到;基于Microarray时序表达数据识别周期表达基因[D];华中科技大学;2007年

5 张元;基于智能决策支持的时序数据挖掘系统的研究[D];华北工学院;2004年

6 赵国庆;基因表达时序数据聚类和比对分析方法研究[D];苏州大学;2011年

7 王丹;基于Hadoop平台的时序数据处理方法研究[D];中国科学技术大学;2015年

8 姚世杰;基于流形学习的高维时序数据状态估计算法的研究与实现[D];武汉科技大学;2014年

9 刘惠峰;基于时序NDVI的疏勒河流域植被覆盖分类研究[D];兰州大学;2014年

10 王惠君;基于模糊理论的时间序列预测模型研究[D];西北大学;2011年

，

本文编号：1074094