作业数据向井下数据中心迁移技术研究

发布时间：2017-10-07 12:34

  本文关键词：作业数据向井下数据中心迁移技术研究

  更多相关文章： 数据迁移 增量数据 多策略数据迁移 数据中心

【摘要】：目前许多大型企业都在建设自己的数据中心,数据中心可以有效整合数据,减少信息孤岛。本文以中石油井下数据中心为背景,重点研究了大庆油田井下作业分公司主营业务、数据中心数据模型,构建了数据映射元模型和迁移元模型,实现了一个满足企业需求的数据迁移系统。 本文主要完成了以下几个工作：首先从钻井、修井、压裂及油田维护四个方面对井下作业分公司作业数据模型做了介绍,并研究了井下作业分公司数据中心体系结构,从开发井压裂、探井压裂、修井、酸化、补孔完井、堵水和生产管理等七个职能域,对井下作业分公司数据中心数据模型字典以及数据模型进行了研究。 其次,建立了一个多策略数据迁移系统框架结构,迁移策略上采用了历史数据迁移、实时数据迁移和即时数据迁移,这几种策略通过元数据驱动的ETL各功能模块能很好完成了历史数据和实时数据的迁移任务。 再次,采用元数据以及元数据驱动理论与技术,建立了一个数据迁移模型的框架结构,然后围绕此框架来进行扩展,建立了数据迁移基础元数据模型、数据迁移驱动元模型,数据迁移基础元模型用于存储基础映射模式元数据定制的元数据；数据迁移驱动元模型位于基础元模型下一层,用于存储映射模式元数据。 对于增量数据的数据迁移问题,使用了一种基于MD5的影子表法的算法,首先对传统的ETL增量抽取的方法进行了总结,阐述了触发器,时间戳,全表对比,和日志对比(主要指同步CDC)几种方法的实现原理和缺点,最终确定了全表对比的方法。 最后,上述的研究成果,在大庆油田井下作业分公司数据中心中,得到了应用与验证,证明以上的所提出的数据迁移体系模型是可行的、实用的,满足了井下作业数据向数据中心迁移的需求。
【关键词】：数据迁移 增量数据 多策略数据迁移 数据中心
【学位授予单位】：东北石油大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP308
【目录】：

• 摘要4-5
• ABSTRACT5-6
• 创新点摘要6-7
• 目录7-9
• 第一章 绪论9-13
• 1.1 研究背景9
• 1.2 数据迁移发展现状9-12
• 1.2.1 数据迁移方法10
• 1.2.2 数据迁移的策略10
• 1.2.3 数据迁移技术10-11
• 1.2.4 元数据研究现状11-12
• 1.2.5 研究目标和主要研究内容12
• 1.3 论文的组织结构12-13
• 第二章 井下作业数据库与数据中心数据库13-41
• 2.1 作业数据模型开发背景介绍13-18
• 2.1.1 作业数据系统功能13-14
• 2.1.2 井下作业数据数据模型14-18
• 2.2 井下作业数据中心18-20
• 2.2.1 井下作业数据中心体系结构18-19
• 2.2.2 井下作业与压裂相关的数据模型19-20
• 2.3 井下作业数据中心专业主题数据模型及业务数据迁移流程20-40
• 2.3.1 基本实体一公共数据模型20-21
• 2.3.2 作业阶段21-22
• 2.3.3 井设计具体关系图22-23
• 2.3.4 成本估算与授权23-25
• 2.3.5 井筒设备25-26
• 2.3.6 井口设备26-27
• 2.3.7 钻机设备27
• 2.3.8 钻具组合27-28
• 2.3.9 生产设备故障28-29
• 2.3.10 井斜测量29
• 2.3.11 固井作业29-30
• 2.3.12 射孔作业30
• 2.3.13 增产措施30-31
• 2.3.14 各作业业务数据迁移的详细流程31-40
• 2.3.14.1 大修中的钻井业务数据迁移数据流程31-34
• 2.3.14.2 修井业务数据迁移数据流程34-36
• 2.3.14.3 油田维护业务数据迁移数据流程36-38
• 2.3.14.4 增产措施业务数据迁移数据流程38-40
• 2.4 本章小结40-41
• 第三章 多种迁移策略数据迁移体系结构及元模型设计41-51
• 3.1 油田作业数据迁移系统框架体系模型设计41-42
• 3.2 多策略数据迁移系统框架结构42-44
• 3.3 数据映射元模型和迁移元模型设计44-50
• 3.3.1 数据映射44-49
• 3.3.2 数据迁移元模型设计49-50
• 3.4 本章小结50-51
• 第四章 一种基于MD5的影子表法的研究51-55
• 4.1 基于MD5影子表法的研究(增量抽取的实现)51-52
• 4.1.1 MD5介绍51
• 4.1.2 增量抽取的基本方法51-52
• 4.2 性能分析52-53
• 4.3 性能测试与结果分析53-54
• 4.4 本章小结54-55
• 第五章 应用系统设计与实现55-66
• 5.1 应用背景55
• 5.2 应用系统设计55-59
• 5.2.1 应用平台设计55-56
• 5.2.2 硬件平台设计56-57
• 5.2.3 安全体系设计57-58
• 5.2.4 功能模块设计58-59
• 5.2.5 主要技术经济考核指标59
• 5.3 系统实现59-65
• 5.3.1 手动数据归档详细设计59-62
• 5.3.2 归档日志查看模块设计62-65
• 5.3.3 归档正确性检查模块设计65
• 5.4 本章小结65-66
• 结论66-68
• 参考文献68-71
• 致谢71-72
• 详细摘要72-84

【参考文献】

中国期刊全文数据库 前2条

1 袁满,文必龙,张林,王东;Epicentre数据模型应用标准及其实现[J];大庆石油学院学报;1998年03期

2 黄强;王薇;张晓梅;李敏;;基于JSON和IoC的AJAX-RMI插件[J];计算机工程;2009年19期

，

本文编号：987885