面向服务思想和私有云平台的电力大数据架构设计与实现
发布时间：2020-12-26 22:04
随着电力系统的自动化和智能化程度越来越高,电力系统的五大环节产生了大量的数据,数据规模对传统的数据处理方式带来了巨大压力,对此,电力系统与大数据技术结合成为了热门研究内容。为提高电力系统中大数据处理能力,降低工作人员使用门槛,实现计算机学科和电气学科的高效融合,本文围绕面向服务和微服务的架构开展研究,设计了涵盖在线分析接口、复杂计算接口、抽取转换装载系统的电力大数据平台,并在私有云平台进行部署。通过融合Hadoop分布式文件系统,GreenPlum数据仓库,Spark并行计算等几大技术的优势,结合电力系统的调控数据实现在线分析(OLAP)接口开发;设计研究了基于Spark的可编程复杂计算接口,通过RESTful接口暴露,允许用户发送HTTP请求上传和执行程序包,实现了对Spark并行计算资源的统一托管;同时在复杂计算接口的基础上,开发了服务于并行处理的抽取、转换、装载(ETL)系统,利用Spark Streaming工具流式提取数据源的数据,并转化为结构化的数据存储到数据仓库,ETL基于复杂计算接口,继承了其可编程性和灵活性,通过利用托管的资源,降低了开发成本;私有云平台通过Kuber...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：74 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 研究工作的背景与意义
1.2 电力大数据的国内外研究历史与现状
1.3 云技术国内外发展情况
1.4 本文主要工作及结构安排
第二章 电力大数据平台的关键技术
2.1 面向服务的架构
2.1.1 概念
2.1.2 微服务
2.1.3 Kubernetes微服务框架
2.2 分布式计算和存储技术
2.2.1 Spark分布式计算技术
2.2.2 Hadoop DFS分布式存储技术
2.3 GreenPlum关系型数据库
2.3.1 关系型数据库在电网的使用场景
2.3.2 GreenPlum相对于Oracle等传统的关系型数据库的优势
2.4 大数据可视化
2.5 虚拟化技术
2.6 小结
第三章 面向服务和私有云的电力大数据系统平台的设计
3.1 电力大数据平台功能需求分析
3.1.1 数据整合治理与互联互通功能
3.1.2 大数据数据仓库和在线分析功能
3.1.3 基于多机器并行技术的复杂计算功能
3.1.4 统一安全认证系统
3.2 电力大数据平台整体设计框架
3.3 小结
第四章 面向服务和私有云电力大数据平台的的实现
4.1 大数据复杂计算系统
4.1.1 Spark编程概述
4.1.2 大数据复杂计算平台的设计
4.2 大数据ETL系统
4.2.1 Spark流式处理简介
4.2.2 ETL子系统架构设计
4.3 OLAP系统接口设计和实现
4.4 系统的部署
4.4.1 云环境准备
4.4.1.1 安装Docker
4.4.1.2 部署Kubernetes
4.4.2 组件的打包和安装
4.4.2.1 Hadoop的部署
4.4.2.2 spark的部署
4.4.2.3 数据仓库GreenPlum的部署
4.5 本章小结
第五章 电力大数据系统部分功能展示
5.1 OLAP系统功能展示
5.1.1 统计模块
5.1.2 关联模块
5.2 复杂计算系统功能展示
5.3 ETL功能展示
5.4 本章小结
第六章 总结和展望
6.1 总结
6.2 展望
致谢
参考文献
攻读硕士期间取得的成果
【参考文献】：
期刊论文
[1]浅析微服务架构在企业信息系统构建中的应用价值[J]. 韩佼男. 中国管理信息化. 2018(02)
[2]面向服务的软件架构SOA及其支撑技术[J]. 李肖克,覃旺. 电子技术与软件工程. 2018(01)
[3]大屏可视化技术在电力系统中的应用研究[J]. 张新阳,孙梦觉,牛斌. 电力大数据. 2017(10)
[4]Hadoop与Spark应用场景研究[J]. 冯兴杰,王文超. 计算机应用研究. 2018(09)
[5]基于SOA架构的Web Service体系研究[J]. 陈建虎,肖成龙,宋好,魏春林. 电脑知识与技术. 2017(29)
[6]基于数据挖掘的Greenplum分析[J]. 余彪. 计算机与网络. 2017(16)
[7]电力大数据可视化研究设计[J]. 孙梦觉,徐敏,牛斌. 电力大数据. 2017(08)
[8]分布式数据库Greenplum研究与应用[J]. 张文升. 金融科技时代. 2017(06)
[9]大数据环境下的电力数据质量评价模型与治理体系研究[J]. 尹蕊,余仰淇,王满意,黄文思,许元斌. 自动化技术与应用. 2017(04)
[10]基于ECharts的数据可视化分析组件设计实现[J]. 王子毅,张春海. 微型机与应用. 2016(14)
博士论文
[1]大数据服务若干关键技术研究[D]. 韩晶.北京邮电大学 2013
硕士论文
[1]基于Kubemetes的大数据流式计算Spark平台设计与实现[D]. 杜威科.南京邮电大学 2017
[2]基于OpenStack的云平台管理系统的设计与实现[D]. 王彬.北京交通大学 2016
[3]基于D3.js的数据可视化系统框架设计与实现[D]. 权鑫.北京交通大学 2016
[4]基于PostgreSQL和Spark的可扩展大数据分析平台[D]. 程敏.中国科学院深圳先进技术研究院 2016
[5]基于Docker的虚拟化应用平台设计与实现[D]. 张怡.华南理工大学 2016
[6]基于OLAP的电力客户能效评估方法及应用[D]. 李永祥.兰州理工大学 2012
本文编号：2940529
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：74 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 研究工作的背景与意义
1.2 电力大数据的国内外研究历史与现状
1.3 云技术国内外发展情况
1.4 本文主要工作及结构安排
第二章 电力大数据平台的关键技术
2.1 面向服务的架构
2.1.1 概念
2.1.2 微服务
2.1.3 Kubernetes微服务框架
2.2 分布式计算和存储技术
2.2.1 Spark分布式计算技术
2.2.2 Hadoop DFS分布式存储技术
2.3 GreenPlum关系型数据库
2.3.1 关系型数据库在电网的使用场景
2.3.2 GreenPlum相对于Oracle等传统的关系型数据库的优势
2.4 大数据可视化
2.5 虚拟化技术
2.6 小结
第三章 面向服务和私有云的电力大数据系统平台的设计
3.1 电力大数据平台功能需求分析
3.1.1 数据整合治理与互联互通功能
3.1.2 大数据数据仓库和在线分析功能
3.1.3 基于多机器并行技术的复杂计算功能
3.1.4 统一安全认证系统
3.2 电力大数据平台整体设计框架
3.3 小结
第四章 面向服务和私有云电力大数据平台的的实现
4.1 大数据复杂计算系统
4.1.1 Spark编程概述
4.1.2 大数据复杂计算平台的设计
4.2 大数据ETL系统
4.2.1 Spark流式处理简介
4.2.2 ETL子系统架构设计
4.3 OLAP系统接口设计和实现
4.4 系统的部署
4.4.1 云环境准备
4.4.1.1 安装Docker
4.4.1.2 部署Kubernetes
4.4.2 组件的打包和安装
4.4.2.1 Hadoop的部署
4.4.2.2 spark的部署
4.4.2.3 数据仓库GreenPlum的部署
4.5 本章小结
第五章 电力大数据系统部分功能展示
5.1 OLAP系统功能展示
5.1.1 统计模块
5.1.2 关联模块
5.2 复杂计算系统功能展示
5.3 ETL功能展示
5.4 本章小结
第六章 总结和展望
6.1 总结
6.2 展望
致谢
参考文献
攻读硕士期间取得的成果
【参考文献】：
期刊论文
[1]浅析微服务架构在企业信息系统构建中的应用价值[J]. 韩佼男. 中国管理信息化. 2018(02)
[2]面向服务的软件架构SOA及其支撑技术[J]. 李肖克,覃旺. 电子技术与软件工程. 2018(01)
[3]大屏可视化技术在电力系统中的应用研究[J]. 张新阳,孙梦觉,牛斌. 电力大数据. 2017(10)
[4]Hadoop与Spark应用场景研究[J]. 冯兴杰,王文超. 计算机应用研究. 2018(09)
[5]基于SOA架构的Web Service体系研究[J]. 陈建虎,肖成龙,宋好,魏春林. 电脑知识与技术. 2017(29)
[6]基于数据挖掘的Greenplum分析[J]. 余彪. 计算机与网络. 2017(16)
[7]电力大数据可视化研究设计[J]. 孙梦觉,徐敏,牛斌. 电力大数据. 2017(08)
[8]分布式数据库Greenplum研究与应用[J]. 张文升. 金融科技时代. 2017(06)
[9]大数据环境下的电力数据质量评价模型与治理体系研究[J]. 尹蕊,余仰淇,王满意,黄文思,许元斌. 自动化技术与应用. 2017(04)
[10]基于ECharts的数据可视化分析组件设计实现[J]. 王子毅,张春海. 微型机与应用. 2016(14)
博士论文
[1]大数据服务若干关键技术研究[D]. 韩晶.北京邮电大学 2013
硕士论文
[1]基于Kubemetes的大数据流式计算Spark平台设计与实现[D]. 杜威科.南京邮电大学 2017
[2]基于OpenStack的云平台管理系统的设计与实现[D]. 王彬.北京交通大学 2016
[3]基于D3.js的数据可视化系统框架设计与实现[D]. 权鑫.北京交通大学 2016
[4]基于PostgreSQL和Spark的可扩展大数据分析平台[D]. 程敏.中国科学院深圳先进技术研究院 2016
[5]基于Docker的虚拟化应用平台设计与实现[D]. 张怡.华南理工大学 2016
[6]基于OLAP的电力客户能效评估方法及应用[D]. 李永祥.兰州理工大学 2012
本文编号：2940529
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/2940529.html
