面向数字油田的云数据服务架构研究

发布时间：2017-08-14 06:02

  本文关键词：面向数字油田的云数据服务架构研究

  更多相关文章： 数字油田 云服务 中心主库 企业服务总线 数据质控

【摘要】：数字油田是一个非常复杂的集成信息系统,并随着企业规模和业务需求的不断扩张,企业对数字油田建设也会不断提出新的、更高的要求,系统因此会变得越来越庞大和复杂。为了应对激烈的挑战,企业需要数字油田的建设一方面能满足不断发展变化的业务需求;同时,还需要在集约化经营的驱动下,寻求更加高效、廉价的解决方案,提升企业的竞争实力。云计算作为一种全新的服务模式,为油田企业在数字油田建设方面提供了一个创新的思路和机遇。同时,数据犹如人体的“血液”贯穿于数字油田的全过程,数字油田建设在一定程度上就是数据的建设,如果没有数据,油田企业信息化便是空中楼阁。因此,通过融合先进的云计算等信息技术,构建一个面向数字油田的一体化数据集成平台,提供统一的数据服务以提升油田应用的信息化水平,已成为了油田信息化发展的主流方向。为此,本文以数字油田的理论框架为基础,针对数字油田在数据集成平台建设过程中面临的数据库建设分散、系统可扩展性差、对专业应用的支持不够以及数据质量问题突出等主要问题,提出了构建面向数字油田的云数据服务平台的解决方案,实现了国内油田企业首个基于HPC的基础设施云管理系统的部署,解决了云数据服务平台中的中心主库构建、企业服务总线构建以及数据质控等三个关键问题,并通过软件开发实现了云数据服务平台管理系统的开发。最后,以大港油田的上游信息化平台为例,分别从基础设施云管理系统和云数据服务管理系统两个方面,对面向数字油田的云数据服务原型平台的应用效果进行展示与分析。具体来说,论文的主要研究内容和取得的主要成果包括:(1)面向数字油田的云数据服务平台解决方案:采取了从整体到局部、从内到外的研究思路。首先,从云计算的理论基础调研入手,并以数字油田的理论框架为基础,参考和借鉴国内外典型的数字油田体系架构实例,提出了面向数字油田的云平台理论框架;然后,在此基础上,以数据为主要研究目标和主线,提出了“一个中心,三个层次、两条总线和两个子功能系统”的面向数字油田的云数据服务体系架构(Cloud Data Service Framework-Oriented Digital Oilfield),一个中心即一个中心主库层,三个层次即为:数据源层、中心主库层和数据应用层,两条总线即:数据集成总线、数据服务总线,两个子功能系统即为:基础设施云管理子系统和云数据服务管理子系统。并在基础设施层的构建中,针对油田企业通常会大量配备高性能HPC服务器的现状,提出了基于HPC的基础设施云管理系统的构建方案,实现了国内油田企业首个基础设施云管理系统的部署,有效地提高了软件资源的利用效率。(2)云数据服务平台的中心主库构建:首先对我国油田企业的数据库建设现状进行了调研和分析,选取了以中国石油的勘探开发数据模型epdm(explorationproductiondatamodel)为原型和模板,通过主库模型设计规范、设计模式以及扩展流程的研究和制定,形成了一套完整的中心主库模型设计与扩展的技术流程和方法,有效地应对了不断发展变化的业务需求对中心主库模型研究带来的挑战,并依此实现了国内油田企业首个真正意义上勘探开发一体化中心主库模型的构建;然后,针对云数据服务平台中数据的三层体系架构特点,提出了面向中心主库的数据集成总线的构建方案,并利用成熟的odi(oracledataintegration)数据集成产品实现了数据源层与中心主库层的无缝连接;最后,通过软件开发实现了云数据服务管理系统中的模型管理与数据集成总线管理功能模块的设计与开发。(3)云数据服务平台的企业服务总线构建:首先调研和总结了soa技术的理论基础,并在针对我国油田企业数据服务现状分析的基础上,提出了基于soa的企业服务总线构建的体系结构以及管理模式;然后,面对我国油田企业在业务应用层的现状,提出了分别面向遗留应用系统、新建应用系统和商业软件的数据服务接口的设计方案,一方面实现了中心主库与现有自建应用系统和商业软件在数据层面的集成,同时还初步完成了面向新建应用的统一数据接口方案的制定,提升了数据的协同共享能力和对应用系统的服务水平;最后,通过软件开发实现云数据服务管理系统中的数据服务管理功能模块的设计与开发。(4)云数据服务平台的质控体系研究:针对在数据集成过程中存在的主要数据质量问题,本文首先从数据质量控制理论基础的调研入手,分析了我国油田的数据管理现状,尤其是对亟待解决的数据质量问题的分析,提出了基于元数据管理的质控体系解决方案,初步制定了面向中心主库的数据质控体系流程,总体上可分为:元数据提取、数据质控检测标准制定、问题数据扫描与公示以及问题数据处理与确认等四个关键步骤;明确了数据质控的应对措施,并在此基础上分别面向完整性约束、规范值约束和业务规则制定了初步的质量检测规范;最后,通过软件开发实现云数据服务管理系统中的数据质控功能模块的设计与开发。(5)原型平台的应用实例与效果分析:以中国石油大港油田分公司上游业务研究为例,在基础设施云管理系统中,实现了自助式智能集群部署、主流应用系统集成、统一的作业管理以及全面的资源监控报表分析等功能的应用;在云数据服务管理系统中,实现了模型的可视化管理、数据的集成化管理、“一站式”数据服务以及数据质控的在线处理等功能的应用。通过面向数字油田的云数据服务架构研究的实践结果可以得出如下结论:1、本文在数字油田理论框架的指导下,通过引入云计算技术,提出了面向数字油田的云数据服务平台的解决方案,并解决了其中的三个关键技术问题,有效地应对了当前我国油田在数据管理领域面临的问题和挑战,达到了预期目标,也验证了其思路的正确性,为后续研究与工作起到抛砖引玉的作用。2、本文针对我国油田企业的应用系统部署现状,分别针对遗留应用系统、新建应用系统和商业软件,初步实现了数据服务接口方案的设计,为面向数字油田的云服务平台的后继研究打下了重要的基础,具有较强的理论和实用价值。
【关键词】：数字油田 云服务 中心主库 企业服务总线 数据质控
【学位授予单位】：长江大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TE938
【目录】：

• 摘要4-7
• ABSTRACT7-15
• 第1章 绪论15-35
• 1.1 论文选题背景15-17
• 1.1.1 数字油田已成为油田信息化发展的必然选择15
• 1.1.2 数据质量是检验数字油田成败与否的关键15-16
• 1.1.3 云数据服务是数字油田的未来发展趋势16-17
• 1.2 数字油田的研究现状17-27
• 1.2.1 数字油田的内涵17-21
• 1.2.2 数字油田的研究现状21-25
• 1.2.3 数字油田的发展趋势25-26
• 1.2.4 目前存在的问题及分析26-27
• 1.3 面向数字油田的云计算27-31
• 1.3.1 云计算的诞生背景27-29
• 1.3.2 云计算给数字油田带来的发展机遇29-30
• 1.3.3 面向数字油田的云计算研究现状分析30-31
• 1.4 论文主要研究内容、方法和思路31-33
• 1.4.1 研究内容31
• 1.4.2 研究意义31-32
• 1.4.3 研究方法及思路32-33
• 1.5 论文组织33-35
• 第2章 面向数字油田的云数据服务平台解决方案35-67
• 2.1 云计算的理论基础35-41
• 2.1.1 云计算的定义36-37
• 2.1.2 云计算的基本特征37-38
• 2.1.3 云计算的服务类型38-39
• 2.1.4 云计算的体系架构39-41
• 2.2 面向数字油田的云平台理论框架41-50
• 2.2.1 数字油田的体系架构分析42-47
• 2.2.2 体系架构的对比总结47-48
• 2.2.3 面向数字油田的云平台的体系架构48-50
• 2.3 面向数字油田的云数据服务平台的体系结构50-58
• 2.3.1 设计原则及目标50-51
• 2.3.2 总体结构设计51-52
• 2.3.3 体系结构的层次模型解析52-56
• 2.3.4 功能系统设计56-58
• 2.4 基础设施云管理系统的实现58-66
• 2.4.1 基础设施管理的现状分析58-59
• 2.4.2 基础设施云系统的总体方案设计59-61
• 2.4.3 基础设施云系统的实现61-66
• 2.5 本章小结66-67
• 第3章 云数据服务平台的中心主库构建67-94
• 3.1 数据库建设现状分析67-70
• 3.1.1 专业数据库建设67-68
• 3.1.2 统建数据库建设68-70
• 3.2 中心主库模型设计70-84
• 3.2.1 中心主库模型的选型70-71
• 3.2.2 中心主库模型的设计思路及工作流程71-72
• 3.2.3 中心主库模型的设计原则72-73
• 3.2.4 中心主库模型的设计规范73-78
• 3.2.5 中心主库模型的设计模式78-79
• 3.2.6 中心主库模型的扩展实例79-84
• 3.3 数据集成总线的设计84-89
• 3.3.1 数据集成概述84-85
• 3.3.2 数据库集成方法85-86
• 3.3.3 数据集成总线的架构设计86-87
• 3.3.4 数据集成接.开发与运行87-89
• 3.4 模型管理与数据集成总线管理的功能设计89-93
• 3.4.1 模型管理的功能设计89-91
• 3.4.2 数据总线管理的功能设计91-93
• 3.5 本章小结93-94
• 第4章 云数据服务平台的企业服务总线构建94-117
• 4.1 SOA理论基础概述94-97
• 4.1.1 SOA的由来及定义94-95
• 4.1.2 SOA的特点及优势95-96
• 4.1.3 SOA与云计算96
• 4.1.4 企业服务总线ESB96-97
• 4.2 面向云数据服务平台的企业总线的结构设计97-102
• 4.2.1 数据的应用现状分析97-98
• 4.2.2 基于SOA的企业服务总线的体系结构98-101
• 4.2.3 基于SOA的企业服务总线的管理模式101-102
• 4.3 数据服务接.设计102-114
• 4.3.1 服务接.的总体架构设计102-104
• 4.3.2 服务接.的内容设计104-113
• 4.3.3 服务接.的开发113-114
• 4.4 数据服务总线管理的功能设计114-116
• 4.4.1 数据服务总线管理功能114-115
• 4.4.2 数据服务总线管理的数据库设计115-116
• 4.5 本章小结116-117
• 第5章 云数据服务平台的质控体系117-134
• 5.1 数据质量控制理论基础117-121
• 5.1.1 数据质量的定义及影响因素分析117-118
• 5.1.2 数据质控的评价标准118-119
• 5.1.3 数据质控的技术分析119-121
• 5.2 数据质量问题分析121-123
• 5.2.1 完整性问题122
• 5.2.2 格式规范性问题122
• 5.2.3 代码规范值不统一问题122
• 5.2.4 数据有效性问题122-123
• 5.2.5 数据一致性问题123
• 5.3 数据质量的控制技术123-131
• 5.3.1 基于元数据的质控体系流程123-125
• 5.3.2 数据质控措施125-127
• 5.3.3 基于元数据的质控标准与规范127-131
• 5.4 数据质量控制的管理功能设计131-133
• 5.4.1 数据质量控制体系功能设计131-132
• 5.4.2 数据质量控制体系数据库设计132-133
• 5.5 本章小结133-134
• 第6章 原型平台的应用实例与效果分析134-151
• 6.1 大港油田数字油田发展现状134-138
• 6.1.1 企业基础网络建设134-135
• 6.1.2 数据库建设135-136
• 6.1.3 专业数据管理系统建设136-137
• 6.1.4 专业应用系统建设137-138
• 6.2 基础设施云管理系统的应用实例及效果138-142
• 6.2.1 自助式智能集群部署138-139
• 6.2.2 主流应用系统集成139-140
• 6.2.3 统一的作业管理140
• 6.2.4 全面的资源实时监控与统计报表分析140-141
• 6.2.5 应用效果对比分析141-142
• 6.3 云数据服务管理平台的应用效果142-149
• 6.3.1 勘探开发一体化数据管理142-143
• 6.3.2 可自动升级的模型管理143-145
• 6.3.3 数据自动集成管理145-147
• 6.3.3.1 数据集成自动化145-146
• 6.3.3.2 数据接口（ODI）管理146-147
• 6.3.3.3 数据差异对比147
• 6.3.4“一站式”数据服务管理147-148
• 6.3.5 数据质量在线处理148-149
• 6.4 本章小结149-151
• 第7章 研结论与展望151-155
• 7.1 成果总结151-153
• 7.2 创新点153
• 7.3 研究展望153-155
• 致谢155-156
• 参考文献156-164
• 附录164-179
• 作者简介179-181

【相似文献】

中国期刊全文数据库 前10条

1 王婷丽;;基于ArcGIS的规划数据格式转换研究[J];江西理工大学学报;2013年01期

2 庞福建;满雪峰;薛庆荣;于久申;谷守娜;唐斌;;LGO原始数据格式转换及处理过程中出现的问题及解决方法[J];石油仪器;2012年06期

3 周利,岳国森;CASS数据格式转换为MapInfo数据格式的设计[J];西部探矿工程;2004年12期

4 朴金山;张琳;刘鸿飞;;ARIES仪器数据格式转换软件和磁带机软件的应用[J];物探装备;2010年05期

5 杜志伟;靳文涛;;基于煤矿测量数据服务的一体化[J];辽宁工程技术大学学报(自然科学版);2012年06期

6 汪金花,孔改红,谷端勇;利用遥感影像进行专题制图方法的探讨[J];矿山测量;2002年03期

7 张建华;;DFTL:一种用于数据格式转换的描述语言[J];西安科技大学学报;2010年04期

8 张建恩;刘亚宁;;用TGO软件实现GPX、KML数据格式转换[J];物探装备;2011年03期

9 白新国;;LandMark导入数据格式转换软件的实现[J];石油工业计算机应用;2012年01期

10 张建新;马雪琴;刘进华;;基于集体土地确权工作底图制作技术的研究[J];矿山测量;2013年01期

中国重要会议论文全文数据库 前10条

1 聂荣建;石文伟;;测图软件数据格式转换为地籍管理信息系统数据格式的实现[A];山东省测绘学术年会论文集[C];2006年

2 陈斌;;基于ActiveX Automation技术的数据格式转换[A];首届海峡两岸土木建筑学术研讨会论文集[C];2005年

3 詹昊;高金平;张云姣;;MapGIS到ArcGIS数据格式转换关键技术研究[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年

4 刘泽明;赵力;;VCT到MAPINFO数据格式转换算法设计与实现[A];山东省测绘学术年会论文集[C];2006年

5 龚福秀;;测井数据格式转换自动化研究[A];“南方复杂地层井筒新技术”技术交流会论文集[C];2005年

6 崔虎平;江南;;基于OGR的通用地理数据格式转换研究[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年

7 洪学海;朱介寿;;三维地球结构数据与图像管理系统[A];2000年中国地球物理学会年刊——中国地球物理学会第十六届年会论文集[C];2000年

8 蒋爱华;;GIS数据格式转换的不确定性[A];2006年测绘新技术应用交流会论文集[C];2006年

9 余丽钰;;基于FME实现ARC/INFO至MAPINFO数据格式转换及符号化技术研究[A];中国测绘学会九届三次理事会暨2007年“信息化测绘论坛”学术年会论文集[C];2007年

10 胡书洁;鞠文征;;ARC/INFO到DXF、DGN的数据格式转换方法研究及实现[A];中国测绘学会第九次全国会员代表大会暨学会成立50周年纪念大会论文集[C];2009年

中国重要报纸全文数据库 前3条

1 朱耿斌;实现ETL 重在应用[N];中国计算机报;2003年

2 井之;痴心不改的技术之路[N];中国计算机报;2003年

3 ;热点技术一：通过分布式 数据库模式实现[N];中国计算机报;2004年

中国博士学位论文全文数据库 前1条

1 朱正平;面向数字油田的云数据服务架构研究[D];长江大学;2015年

中国硕士学位论文全文数据库 前10条

1 解开创;水文自动测报系统数据整编前处理软件的设计和实现[D];云南大学;2012年

2 王洪伟;基于GIS的地震数据库结构设计及其访问技术研究[D];中国海洋大学;2008年

3 朱志强;空间矢量数据格式转换应用研究[D];合肥工业大学;2006年

4 祝欢欢;数据注册中心下应急管理标识的研究与应用[D];成都理工大学;2013年

5 胡婷婷;海上高精度拖缆地震采集系统质量控制与记录软件设计与实现[D];中国科学技术大学;2009年

6 杨文婷;某测绘院数据生产管理信息系统的分析与设计[D];厦门大学;2013年

7 牛千;WebGIS数据共享应用与研究[D];西南大学;2010年

8 刘小伟;GIS空间数据格式转换技术与方法的研究[D];合肥工业大学;2009年

9 赵嘉宇;基于反射内存技术的多功能通讯板卡研制[D];哈尔滨工业大学;2015年

10 张明;MMS外业测绘流程设计及DMI数据质量评价研究[D];北京建筑工程学院;2009年

，

本文编号：671095