基于大数据的石油钻井信息优化查询系统研究

发布时间：2021-05-08 23:52

　　随着数字化时代的来临,石油钻井行业信息化建设快速发展,与钻井生产管理信息相关的数据呈指数级增长趋势,传统的钻井信息存储和查询系统已难以满足海量钻井数据存储和查询的统计分析需求。本文采用大数据的理论和方法,研究构建基于大数据的石油钻井信息优化查询系统,以进一步提高大数据环境下石油钻井信息的及时性和有效性。第一,分析探讨了传统关系型数据库分布式查询、Apache20Hadoop20Hive分布式查询和NoSQL数据库分布式查询目前存在的局限性和不足。指出面对大数据环境下,数据来源广、数据量大、数据类型繁多等现状,传统数据库查询系统缺乏有效的处理手段,Apache20Hadoop20Hive分布式查询操作则往往伴随着一些冗余且耗时的操作,而NoSQL数据库分布式查询的开发和维护工作过量大。第二,设计构建了一个基于大数据的石油钻井信息查询系统的总体框架。运用大数据理论方法,结合传统查询系统体系结构,设计构建一个基于大数据的,支持实时、并行、交互式查询的石油钻井信息查询系统体系结构和软件平台。第三,研究提出了大数据环境下钻井数据索引算法和Top-k优化查询算法。通过对Apache20Kylin、... 

【文章来源】：西安石油大学陕西省

【文章页数】：56 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景
    1.2 数据信息查询技术国内外研究现状
    1.3 研究的目的与意义
    1.4 论文组织结构
第二章 基于大数据的石油钻井信息优化查询系统体系架构
    2.1 相关理论技术概述
        2.1.1 Hadoop分布式计算平台
        2.1.2 数据仓库工具Hive介绍
        2.1.3 数据库HBase简介
        2.1.4 Kylin引擎介绍
    2.2 分布式查询分析引擎
        2.2.1 数据查询的发展
        2.2.2 大数据环境下数据查询技术
    2.3 传统的石油钻井信息查询系统体系结构概述
        2.3.1 传统的关系型数据库查询流程概述
        2.3.2 传统的关系型数据库查询问题
    2.4 基于大数据的石油钻井信息优化查询系统的总体结构
        2.4.1 系统总体结构
        2.4.2 系统的特点
    2.5 本章小结
第三章 基于大数据的石油钻井信息优化查询系统分析与设计
    3.1 系统分析
        3.1.1 系统需求分析
        3.1.2 石油钻井数据分析
    3.2 石油钻井数据存储模型设计
        3.2.1 数据仓库主题确定
        3.2.2 事实表和维表设计
        3.2.3 数据仓库数据模型设计
        3.2.4 数据字典
    3.3 数据抽取、转换和加载
        3.3.1 数据抽取
        3.3.2 数据转换
        3.3.3 数据加载
    3.4 基于MapReduce的 Top-k查询算法的优化
        3.4.1 Top-k算法简介
        3.4.2 Top-k查询算法的优化
    3.5 本章小结
第四章 基于大数据的石油钻井信息优化查询系统的实现与应用
    4.1 数据库HBase优化
        4.1.1 数据库HBase存储优化
        4.1.2 关键字Row Key设计优化
        4.1.3 HBase环境配置优化
        4.1.4 钻井数据索引算法研究
        4.1.5 参数优化
    4.2 Kylin查询方法优化
        4.2.1 逻辑层的优化
        4.2.2 存储层的优化
    4.3 系统实现
        4.3.1 系统测试环境准备
        4.3.2 Hadoop集群部署
        4.3.3 查询结果展示
    4.4 查询性能的比较
    4.5 本章小结
第五章 总结与展望
    5.1 论文工作总结
    5.2 展望
致谢
参考文献
攻读学位期间参加科研情况及获得的学术成果



本文编号：3176215