基于Hadoop的用电信息大数据计算服务及应用

发布时间：2017-09-21 05:29

  本文关键词：基于Hadoop的用电信息大数据计算服务及应用

  更多相关文章： 用电信息采集系统 大数据 Hadoop

【摘要】：为应对用电大数据的处理要求,基于Hadoop集群构建了面向用电信息采集系统大数据的处理架构和计算服务架构,对计算任务进行并行化处理,提高了用电大数据的计算效率;同时针对用电信息采集系统中大部分计算服务的计算规则复杂、存在数据依赖关系等特点,将同一计算服务内的Map Reduce作业及及其依赖关系以有向无环图的形式进行组织,并利用依赖控制引擎进行作业运行状态的自动管理,实现作业提交时间的动态调整,达到优化作业执行效率和成功率的效果。实验结果证明,所提方法高效可行,计算服务性能高,能够适应用电大数据的实时处理要求。
【作者单位】： 国网山东省电力公司;山东大学计算机科学与技术学院;
【关键词】： 用电信息采集系统 大数据 Hadoop
【基金】：国家自然科学基金项目(61272241)~~
【分类号】：TM769;TP311.13
【正文快照】： 0引言随着信息技术和社会的不断发展,如今进入了一个大规模生产、分享和应用数据的时代。大数据的管理需求催生了以云计算[1]为代表的大数据处理技术,用来提高大数据计算分析性能和开发效率。云计算是并行计算、分布式计算和网络计算的发展,其核心是海量数据存储和数据并行处

【参考文献】

中国期刊全文数据库 前10条

1 朱征;顾中坚;吴金龙;桂胜;;云计算在电力系统数据灾备业务中的应用研究[J];电网技术;2012年09期

2 刘萌;褚晓东;张文;冯宗英;;负荷分布式控制的云计算平台构架设计[J];电网技术;2012年08期

3 宋亚奇;周国亮;朱永利;;智能电网大数据处理技术现状与挑战[J];电网技术;2013年04期

4 张素香;刘建明;赵丙镇;曹津平;;基于云计算的居民用电行为分析模型研究[J];电网技术;2013年06期

5 赵腾;张焰;张东霞;;智能配电网大数据应用技术与前景分析[J];电网技术;2014年12期

6 刘正伟;文中领;张海涛;;云计算和云数据管理技术[J];计算机研究与发展;2012年S1期

7 董新华;李瑞轩;周湾湾;王聪;薛正元;廖东杰;;Hadoop系统性能优化与功能增强综述[J];计算机研究与发展;2013年S2期

8 陈曦;陈华钧;顾s頬Z;张宁豫;陈娇彦;于彤;;一种基于Hadoop的语义大数据分布式推理框架[J];计算机研究与发展;2013年S2期

9 刘芬;王芳;田昊;;基于Zookeeper的分布式锁服务及性能优化[J];计算机研究与发展;2014年S1期

10 李玉林;董晶;;基于Hadoop的MapReduce模型的研究与改进[J];计算机工程与设计;2012年08期

【共引文献】

中国期刊全文数据库 前10条

1 徐晓林;李卫东;;论云计算对电子政务的革命性影响[J];电子政务;2012年10期

2 彭娇;邱晓丽;;云计算技术在高校图书馆中的应用[J];硅谷;2013年02期

3 宋亚奇;周国亮;朱永利;;智能电网大数据处理技术现状与挑战[J];电网技术;2013年04期

4 张素香;刘建明;赵丙镇;曹津平;;基于云计算的居民用电行为分析模型研究[J];电网技术;2013年06期

5 南志海;;云计算和云数据管理技术探讨[J];硅谷;2013年06期

6 刘德永;;云计算和云数据管理技术[J];计算机光盘软件与应用;2013年13期

7 易雯;周四望;;高负载文档预览服务的设计和实现[J];计算机光盘软件与应用;2013年05期

8 李红娟;;云计算关键技术理论分析与探讨[J];电子世界;2013年23期

9 胡元军;;芬兰媒体数字化发展的特点[J];计算机光盘软件与应用;2013年22期

10 范焱;庞芳梅;邵刚;;云计算和云数据管理技术[J];硅谷;2013年24期

中国重要会议论文全文数据库 前8条

1 ;Typical Cloud Computing System Design[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年

2 桂胜;杨宁;李凡;;基于云计算的电力企业信息系统硬件资源池的研究与建设[A];2013电力行业信息化年会论文集[C];2013年

3 段成永;邱少明;卢刚;刘焱;;基于Map/Reduce模型的空情数据挖掘算法[A];2014第二届中国指挥控制大会论文集（上）[C];2014年

4 桂胜;杨宁;李凡;;基于云计算的电力企业信息系统硬件资源池的研究与建设[A];2013电力行业信息化年会论文集[C];2013年

5 杨亮;吕健强;罗清尧;;规模化奶牛场数字化网络平台开发与应用[A];中国畜牧兽医学会信息技术分会2014年学术研讨会论文集[C];2014年

6 孙峰;钱啸;曾建梁;金烨;钱伟杰;许晶;;基于大数据理念的地市供电公司智能电网规划数据融合研究[A];电力行业信息化优秀论文集2014——2014年全国电力行业两化融合推进会暨全国电力企业信息化大会获奖论文[C];2014年

7 周婕;邹游;;大数据背景下的城乡规划研究思考[A];第十七届中国科协年会——分16　大数据与城乡治理研讨会论文集[C];2015年

8 万俊杰;;大数据在水质数据分析中的应用[A];大数据时代的信息化建设——2015（第三届）中国水利信息化与数字水利技术论坛论文集[C];2015年

中国博士学位论文全文数据库 前4条

1 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年

2 杨靖琦;云化业务平台可伸缩性研究[D];北京邮电大学;2014年

3 李宇昕;地质勘查物流与信息流融合关键技术与应用研究[D];中国地质大学(北京);2015年

4 金冉;面向大规模数据的聚类算法研究及应用[D];东华大学;2015年

中国硕士学位论文全文数据库 前10条

1 刘菲军;云计算下虚拟机部署机制的研究[D];太原理工大学;2012年

2 孙雨冰;基于MapReduce化的数据聚类算法的研究、设计与应用[D];华东理工大学;2013年

3 方旋;云计算在土地利用规划信息系统中的应用研究[D];浙江大学;2013年

4 王雅光;基于Hadoop平台的DBSCAN算法应用研究[D];广东工业大学;2013年

5 谌侃;用户数据融合云计算存储方案研究[D];北京邮电大学;2013年

6 张宁宁;异构环境下云计算数据副本动态管理研究[D];郑州大学;2013年

7 赵晓冰;Hadoop平台下的作业调度算法的研究[D];郑州大学;2013年

8 毛严奇;社交云平台下用户行为分析的研究[D];湖南师范大学;2013年

9 李步源;基于云计算的协同过滤算法并行化研究[D];郑州大学;2013年

10 常芸;基于电子货币视角的反贪污性洗钱研究[D];西安电子科技大学;2013年

【二级参考文献】

中国期刊全文数据库 前10条

1 孙其博;刘杰;黎，

本文编号：892660