基于大数据技术的油藏数据分析系统的设计与实现
发布时间：2021-03-01 16:52
随着石油勘探和开发工作的不断发展,油田所产生的数据已呈现爆炸式增长,石油企业积累了大量油藏数据。因此,油田管理的信息化和智能化显得尤为重要。面对油藏数据规模庞大、数据形式多样、数据结构复杂等挑战,传统的数据分析方法很难满足石油企业的实践需求。近年来,由于以Hadoop和Spark为代表的大数据技术能够快速、有效处理和分析海量数据,因此其非常适合应用于油藏大数据分析。本文以Hadoop和Spark等大数据技术为基础,面向油藏数据处理和分析展开了系统研究,主要研究工作和成果如下:（1）设计了基于大数据技术的油藏数据分析系统的总体架构。该架构分为五个层次功能模块,分别为:数据采集层、数据接入层、数据存储层、数据挖掘分析层和应用服务层。根据油藏数据特点和实践需求,对所提系统架构的各个功能模块进行了详细设计。（2）设计了基于HBase数据库的油藏数据分布式存储方案。针对油藏数据具有异构性、多样性以及数据源多等特点,本文利用Hadoop数据库HBase设计了油藏数据的分布式存储总体架构,设计了油藏数据表和HBase表,解决了油藏数据的分布式存储问题,并引用协处理器Coprocessor实现了 HB...
【文章来源】：扬州大学江苏省
【文章页数】：72 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 研究背景
1.2 研究现状
1.3 研究内容
1.4 论文结构
第二章 相关理论和关键技术介绍
2.1 引言
2.2 大数据平台与开发工具
2.2.1 Hadoop平台
2.2.2 Spark计算引擎
2.2.3 Hadoop分布式文件系统概述
2.2.4 HBase分布式数据库
2.3 油藏数据分析概述
2.4 数据挖掘算法简介
2.5 本章小结
第三章 需求分析与系统总体架构设计
3.1 引言
3.2 油藏数据特点
3.3 油藏数据处理功能性需求
3.3.1 油藏数据的导入与存储
3.3.2 油藏数据分析
3.3.3 分析结果推送入库
3.4 非功能性需求
3.5 总体架构与层次功能模块
3.5.1 总体架构
3.5.2 层次功能模块
3.6 本章小结
第四章 油藏数据分布式存储的设计与实现
4.1 引言
4.2 油藏数据分布式存储总体架构
4.3 油藏数据接入模块
4.4 油藏数据存储模块
4.4.1 油藏数据表设计
4.4.2 HBase表设计
4.4.3 协处理器Coprocessor实现二级索引
4.5 本章小结
第五章 基于C4.5决策树的地层分类算法
5.1 引言
5.2 C4.5决策树算法
5.3 基于油藏数据的决策树模型构建
5.3.1 油藏数据特征提取
5.3.2 基于油藏数据的C4.5决策树生成算法
5.3.3 基于油藏数据的C4.5算法构造决策树
5.4 基于Spark的C4.5决策树地层分类的实现
5.5 实验结果与分析
5.5.1 实验环境
5.5.2 实验结果
5.6 本章小结
第六章 基于大数据技术的油藏数据分析系统的设计与实现
6.1 引言
6.2 系统研发环境
6.2.1 硬件配置
6.2.2 软件环境
6.3 系统实现
6.3.1 系统总体框架
6.3.2 油藏数据监控模块
6.3.3 油藏数据存储模块
6.3.4 员工信息管理模块
6.3.5 油藏数据分析模块
6.3.6 油藏数据出库备份
6.4 系统功能测试
6.4.1 等价类划分
6.4.2 系统测试用例
6.5 本章小结
第七章 总结与展望
7.1 研究总结
7.2 研究展望
参考文献
附录
致谢
攻读学位期间发表的学术论文与参加的研究工作
【参考文献】：
期刊论文
[1]基于微服务的石油大数据挖掘平台[J]. 郭燚,张卫山,徐亮,翟佳. 计算机与现代化. 2019(05)
[2]大数据背景下的石化企业客户资源管理方案研究[J]. 任晔. 当代石油石化. 2019(04)
[3]大数据在石油行业中的应用探究[J]. 赵志刚. 信息系统工程. 2019(03)
[4]一种基于现代数据挖掘技术的智慧油田控制分层模型[J]. 胡佳妮. 现代盐化工. 2019(01)
[5]油藏数值模拟模型降阶方法研究及应用[J]. 侯天宏,喻高明. 辽宁化工. 2018(11)
[6]决策树C4.5算法的改进与分析[J]. 安葳鹏,尚家泽. 计算机工程与应用. 2019(12)
[7]基于Spark的油田应用日志行为分析系统[J]. 陈雷鸣,张伟光,李翛然,李宁宁. 计算机系统应用. 2018(09)
[8]数据相关性研究在判断某区水驱优势的应用[J]. 常涛涛,陈丽辉,寇伟龙. 石化技术. 2018(08)
[9]油气田建设中智能化技术的使用效果[J]. 王晓东. 化工管理. 2018(21)
[10]基于CART模型的不纯度函数在不同数据类型中的分类[J]. 曹桃云. 统计与决策. 2018(10)
博士论文
[1]基于油田多源数据分析的油藏管理研究[D]. 张伟.长安大学 2013
硕士论文
[1]基于石油钻井大数据技术的钻进优化控制的研究[D]. 李维校.西安石油大学 2018
[2]智能井井下监测数据处理方法与应用研究[D]. 张娇.西安石油大学 2017
[3]基于Storm的实时交通信息管理系统的设计与实现[D]. 李申申.扬州大学 2017
[4]基于Hadoop的钻井工程实时数据分析研究[D]. 王建军.西安石油大学 2016
[5]基于大数据的钻井物料信息多维分析研究[D]. 李欣.西安石油大学 2016
[6]基于Hadoop的海量城市交通流数据分布式存储与分析研究[D]. 朱刘江.扬州大学 2015
[7]基于Spark的数据处理分析系统的设计与实现[D]. 李爽.北京交通大学 2015
[8]基于HBase的大规模数据存储解决方案的设计和实现[D]. 马翠云.山东大学 2015
[9]基于Hadoop的数据迁移与存储的研究[D]. 刘云飞.北京邮电大学 2015
[10]基于Spark的机器学习平台设计与实现[D]. 唐振坤.厦门大学 2014
本文编号：3057758
【文章来源】：扬州大学江苏省
【文章页数】：72 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 研究背景
1.2 研究现状
1.3 研究内容
1.4 论文结构
第二章 相关理论和关键技术介绍
2.1 引言
2.2 大数据平台与开发工具
2.2.1 Hadoop平台
2.2.2 Spark计算引擎
2.2.3 Hadoop分布式文件系统概述
2.2.4 HBase分布式数据库
2.3 油藏数据分析概述
2.4 数据挖掘算法简介
2.5 本章小结
第三章 需求分析与系统总体架构设计
3.1 引言
3.2 油藏数据特点
3.3 油藏数据处理功能性需求
3.3.1 油藏数据的导入与存储
3.3.2 油藏数据分析
3.3.3 分析结果推送入库
3.4 非功能性需求
3.5 总体架构与层次功能模块
3.5.1 总体架构
3.5.2 层次功能模块
3.6 本章小结
第四章 油藏数据分布式存储的设计与实现
4.1 引言
4.2 油藏数据分布式存储总体架构
4.3 油藏数据接入模块
4.4 油藏数据存储模块
4.4.1 油藏数据表设计
4.4.2 HBase表设计
4.4.3 协处理器Coprocessor实现二级索引
4.5 本章小结
第五章 基于C4.5决策树的地层分类算法
5.1 引言
5.2 C4.5决策树算法
5.3 基于油藏数据的决策树模型构建
5.3.1 油藏数据特征提取
5.3.2 基于油藏数据的C4.5决策树生成算法
5.3.3 基于油藏数据的C4.5算法构造决策树
5.4 基于Spark的C4.5决策树地层分类的实现
5.5 实验结果与分析
5.5.1 实验环境
5.5.2 实验结果
5.6 本章小结
第六章 基于大数据技术的油藏数据分析系统的设计与实现
6.1 引言
6.2 系统研发环境
6.2.1 硬件配置
6.2.2 软件环境
6.3 系统实现
6.3.1 系统总体框架
6.3.2 油藏数据监控模块
6.3.3 油藏数据存储模块
6.3.4 员工信息管理模块
6.3.5 油藏数据分析模块
6.3.6 油藏数据出库备份
6.4 系统功能测试
6.4.1 等价类划分
6.4.2 系统测试用例
6.5 本章小结
第七章 总结与展望
7.1 研究总结
7.2 研究展望
参考文献
附录
致谢
攻读学位期间发表的学术论文与参加的研究工作
【参考文献】：
期刊论文
[1]基于微服务的石油大数据挖掘平台[J]. 郭燚,张卫山,徐亮,翟佳. 计算机与现代化. 2019(05)
[2]大数据背景下的石化企业客户资源管理方案研究[J]. 任晔. 当代石油石化. 2019(04)
[3]大数据在石油行业中的应用探究[J]. 赵志刚. 信息系统工程. 2019(03)
[4]一种基于现代数据挖掘技术的智慧油田控制分层模型[J]. 胡佳妮. 现代盐化工. 2019(01)
[5]油藏数值模拟模型降阶方法研究及应用[J]. 侯天宏,喻高明. 辽宁化工. 2018(11)
[6]决策树C4.5算法的改进与分析[J]. 安葳鹏,尚家泽. 计算机工程与应用. 2019(12)
[7]基于Spark的油田应用日志行为分析系统[J]. 陈雷鸣,张伟光,李翛然,李宁宁. 计算机系统应用. 2018(09)
[8]数据相关性研究在判断某区水驱优势的应用[J]. 常涛涛,陈丽辉,寇伟龙. 石化技术. 2018(08)
[9]油气田建设中智能化技术的使用效果[J]. 王晓东. 化工管理. 2018(21)
[10]基于CART模型的不纯度函数在不同数据类型中的分类[J]. 曹桃云. 统计与决策. 2018(10)
博士论文
[1]基于油田多源数据分析的油藏管理研究[D]. 张伟.长安大学 2013
硕士论文
[1]基于石油钻井大数据技术的钻进优化控制的研究[D]. 李维校.西安石油大学 2018
[2]智能井井下监测数据处理方法与应用研究[D]. 张娇.西安石油大学 2017
[3]基于Storm的实时交通信息管理系统的设计与实现[D]. 李申申.扬州大学 2017
[4]基于Hadoop的钻井工程实时数据分析研究[D]. 王建军.西安石油大学 2016
[5]基于大数据的钻井物料信息多维分析研究[D]. 李欣.西安石油大学 2016
[6]基于Hadoop的海量城市交通流数据分布式存储与分析研究[D]. 朱刘江.扬州大学 2015
[7]基于Spark的数据处理分析系统的设计与实现[D]. 李爽.北京交通大学 2015
[8]基于HBase的大规模数据存储解决方案的设计和实现[D]. 马翠云.山东大学 2015
[9]基于Hadoop的数据迁移与存储的研究[D]. 刘云飞.北京邮电大学 2015
[10]基于Spark的机器学习平台设计与实现[D]. 唐振坤.厦门大学 2014
本文编号：3057758
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3057758.html
