基于大数据的长输管道区域阴极保护数据管理平台研究

发布时间：2020-10-27 13:40

　　 近年来,随着对智慧油气管道的研究,在维护管道的每一个环节都需要实现智能化。其中,在电化学保护油气管道方面,对阴极保护装置实现智能化是有待解决的问题。要实现阴极保护智能化管理,需要搭建一个将影响阴极保护的多种因素按区域分布式收集、存储、分析的数据管理平台。本文研究一种基于大数据的长输管道区域阴极保护数据管理平台,可以实现对影响阴极保护的多因素中最重要因素——土壤的数据管理,为阴极保护参数自动调整与电化学腐蚀预测提供良好平台。论文首先根据影响阴极保护运行和电化学腐蚀的土壤环境,利用数据挖掘中的粗糙集算法建立土壤腐蚀分级评价RS-EW-SPA模型。通过Python运行模型,将土壤腐蚀分为4个等级,并计算每个测试点处土壤腐蚀等级及各指标因素影响度大小、排序,按需求生成不同的文件。与现场实测数据及其事后局部分析评价结果对比验证,表明此模型适用于油气管道土壤腐蚀分级评价。其次,对基于Hadoop的区域阴极保护数据管理平台的设计,包括设计总体架构,分析系统特点,设计Hadoop集群架构及搭建流程,数据分布式存储设计及多样查询。最后,根据系统架构部署虚拟软、硬件环境,再利用RS-EW-SPA模型生成的文件和收集的其他与阴极保护相关的不同类型文件对平台进行测试,在平台上实现文件上传、存储、分析、查询、下载等功能。
【学位单位】：西安石油大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TE988.2;TP311.13
【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究目的及意义
        1.1.1 研究的目的
        1.1.2 研究的意义
    1.2 国内外研究现状
        1.2.1 大数据技术研究现状
        1.2.2 长输管道阴极保护技术研究现状
        1.2.3 大数据下长输管道与阴极保护研究现状
    1.3 章节安排
第二章 大数据相关技术简介
    2.1 大数据的基本概念
    2.2 数据挖掘技术
    2.3 Hadoop技术概述
    2.4 HDFS分布式文件系统概述
    2.5 MapReduce概述
    2.6 ZooKeeper概述
    2.7 Hadoop中数据仓库Hive概述
    2.8 本章小结
第三章 区域阴极保护研究
    3.1 区域阴极保护土壤因素分析
    3.2 土壤腐蚀分级评价模型架构设计
    3.3 模型建立
        3.3.1 数据预处理
        3.3.2 特征加权
        3.3.3 特征向量化
    3.4 模型运算
    3.5 模型验证
        3.5.1 指标测试
        3.5.2 确定决策表
        3.5.3 确定指标权重
        3.5.4 结果对比分析
    3.6 本章小结
第四章 基于Hadoop的区域阴极保护数据管理平台设计
    4.1 基于Hadoop的区域阴极保护数据管理平台总体结构
        4.1.1 系统的总体结构
        4.1.2 系统的特点
    4.2 基于Hadoop的分布式集群设计
        4.2.1 搭建集群架构
        4.2.2 集群搭建流程
        4.2.3 集群初始化
        4.2.4 集群启动
    4.3 基于Hadoop分布式集群的数据存储
        4.3.1 HDFS存储
        4.3.2 HIVE存储
    4.4 基于Hive的数据查询
        4.4.1 外部查询
        4.4.2 分区查询
    4.5 本章小结
第五章 基于Hadoop的区域阴极保护数据管理平台实现
    5.1 系统环境准备
        5.1.1 Linux环境准备
        5.1.2 SSH环境准备
        5.1.3 JDK开发环境准备
        5.1.4 ZooKeeper集群环境准备
    5.2 Hadoop集群搭建
    5.3 数据存储
    5.4 数据查询
    5.5 本章小结
第六章 总结与展望
    6.1 论文总结
    6.2 展望
致谢
参考文献
攻读学位期间参加科研情况及获得的学术成果

【相似文献】

相关期刊论文 前10条

1 杨宇;;长输管道施工中的常见问题与解决措施探析[J];全面腐蚀控制;2019年06期

2 刘兆营;;埋地长输管道防腐方法及质量控制途径[J];全面腐蚀控制;2019年06期

3 刘晓军;;长输管道现场施工问题的研究[J];化工设计通讯;2018年12期

4 杨国禄;;油田长输管道施工中存在的问题与解决对策[J];石化技术;2018年01期

5 刘晓旭;;从长输管道安全隐患整治谈安全监管创新——长输管道安全隐患整治创新监管的体会[J];中国石油和化工标准与质量;2018年03期

6 冯学书;樊帆;;成品油长输管道的发展现状[J];石化技术;2018年09期

7 高晓;;我国石油长输管道存在问题及解决对策[J];化工管理;2016年36期

8 王秀锦;;南苏丹长输管道项目基础设计概算[J];国际工程与劳务;2017年02期

9 朱孟光;;石油长输管道泄漏风险分析及应对研究[J];工程建设与设计;2017年02期

10 王浩;薛立勇;;埋地长输管道防腐方法及质量控制的要点分析[J];中国石油和化工标准与质量;2017年09期

相关博士学位论文 前6条

1 李建华;基于故障树分析的长输管道定量风险评价方法研究[D];兰州理工大学;2008年

2 毅力琦;长输管道变形计算、应变测量和健康监测系统研究[D];北京化工大学;2012年

3 陈朋超;长输管道安全预警系统若干关键技术研究[D];天津大学;2010年

4 李俊花;长输液体管道泄漏监测方法研究[D];大连理工大学;2006年

5 张圣柱;油气长输管道事故风险分析与选线方法研究[D];中国矿业大学(北京);2012年

6 黄福祥;大口径长输管道内环缝自动焊设备及工艺研究[D];天津大学;2009年

相关硕士学位论文 前10条

1 王玉婷;基于大数据的长输管道区域阴极保护数据管理平台研究[D];西安石油大学;2019年

2 崔震;长输管道阴极保护装置的研究[D];西安石油大学;2019年

3 倪梦;长输管道区域阴极保护参数的数值模拟研究[D];西安石油大学;2019年

4 高巍;长输管道基础数据集成平台的研究[D];东北石油大学;2018年

5 韩冷;中国石油长输管道项目代建制管理模式研究[D];清华大学;2017年

6 代微;云南省天然气有限公司长输管道巡检管理系统的设计与实现[D];山东大学;2018年

7 陈文艳;液氨长输管道泄漏风险分析及对策研究[D];首都经济贸易大学;2011年

8 王超;长输管道中数字管理平台的设计及实现[D];东北石油大学;2015年

9 杨海燕;长输管道站场监控系统的研究[D];西南石油大学;2014年

10 马欣;现役长输管道风险分析技术研究[D];兰州理工大学;2005年

本文编号：2858593