基于Hadoop的油气水井生产大数据分析与应用

发布时间：2021-01-14 09:59

　　基于Hadoop框架的分布式存储、并行计算以及数据仓库建模等技术,构建Kylin多维分析平台,实现油气田注入井生产数据的统一存储、计算、分析功能,解决多表联合查询效率低、多数据库之间存在数据孤岛等问题。实现16个分散数据库的快速查询和管理优化,查询分析效率提升3倍。该平台可统一管理8×10⁴余口注入井生产数据,业务分析时间由原来的1 d缩短到现在的5 s,查询时间为秒级响应。通过建立注入井生产数据多维分析模型,在中国石油天然气集团公司实现了注入井宏观管理分析、问题井管理分析、注入井生产运行分析等应用。实现了系统的快速响应,满足了高效分析需求。注入井生产数据分析粒度由原来的油田细化到单井,业务分析更为细致,能够实时掌握油气生产动态。 

【文章来源】：科学技术与工程. 2020,20(11)北大核心

【文章页数】：8 页

【部分图文】：

图11 日注气量运行分析

不同注入介质问题井分析

系统主要从4个方面进行设计:Hive数据仓库、ETL数据采集、Kylin数据预聚合和数据可视化。以Hadoop大数据平台为基础,使用Kettle作为ETL数据采集工具,Hive数据仓库作为数据存储中心,利用Kylin的数据预聚合功能来构建满足OLAP业务需求的数据立方体,最后通过多维数据可视化技术对业务人员外提供油气生产数据的OLAP服务,多维分析架构如图1所示。系统主要分为4个模块,包括数据仓库模块、数据采集模块、数据预聚合模块和数据可视化模块。

【参考文献】：
期刊论文
[1]结合信息增益率的异构医疗数据库字段标识系统设计[J]. 魏玮.  科学技术与工程. 2019(22)
[2]基于大数据的人工智能跨境电商导购平台信息个性化推荐算法[J]. 李家华.  科学技术与工程. 2019(14)
[3]分布式多空间数据库复杂时态数据提取技术[J]. 李婧.  科学技术与工程. 2019(12)
[4]基于大数据的桥梁健康监测数据存储及预警方法[J]. 任普,丁幼亮,李亚东,刘刚,蔡曙日.  科学技术与工程. 2019(12)
[5]混合动态数据库集群的并行空间连接优化算法[J]. 晋国卿.  科学技术与工程. 2019(12)
[6]基于Thrift的HBase数据存储机制优化[J]. 温振蕙,樊永生,余红英.  科学技术与工程. 2019(06)
[7]基于改进卷积神经网络与动态衰减学习率的环境声音识别算法[J]. 冯陈定,李少波,姚勇,杨静.  科学技术与工程. 2019(01)
[8]中国大型气田井均动态储量与初始无阻流量定量关系的建立与应用[J]. 李熙喆,刘晓华,苏云河,吴国铭,刘华勋,路琳琳,万玉金,郭振华,石石.  石油勘探与开发. 2018(06)
[9]大规模数据库中非显著特征动态数据实时挖掘技术[J]. 聂捷楠.  科学技术与工程. 2018(21)
[10]基于循环神经网络的测井曲线生成方法[J]. 张东晓,陈云天,孟晋.  石油勘探与开发. 2018(04)

博士论文
[1]基于大数据的油田生产经营优化系统研究及应用[D]. 曲海旭.东北石油大学 2016

硕士论文
[1]大数据环境下油气钻井信息分布式多维分析方法研究[D]. 眭冠男.西安石油大学 2018
[2]大数据环境下油气钻井信息分布式数据仓库系统研究[D]. 鲁帅帅.西安石油大学 2018
[3]基于Hive和Apache Kylin的生产大数据聚合与管理系统的设计与实现[D]. 蔡旭坤.华南理工大学 2018
[4]基于Hadoop的钻井工程实时数据分析研究[D]. 王建军.西安石油大学 2016



本文编号：2976696