油气物联网实时数据管理的研究

发布时间：2017-08-26 08:36

  本文关键词：油气物联网实时数据管理的研究

  更多相关文章： 油气生产 物联网 实时数据 大数据 数据完整性

【摘要】：随着物联网技术在油气生产中的应用不断深入,安装于井场的仪表通过检查、测量、分析、计算所得到的现场数据由RTU上传至井控SCADA系统,以便对油气生产过程进行数据展示、远程监控与管理。这些实时数据被存放在实时数据库中和历史数据库中,为了便于管理和组织这些实时数据,需要将这些基于标签存储的工业实时数据转换为适合分析的业务数据,利用这些分析型业务数据实现告警和预警等决策,便于查询和二次决策。本文针对实时数据的分类处理和管理过程设计了应用服务层和生产数据采集层之间的开放式结构——实时数据处理系统。首先,以油气物联网项目中实时数据的组织、发布、生产单元分类处理为需求,在深入考虑实时数据在油气物联网生产中的数据采集、传输、存储及存储标准的基础上,研究了实时数据的业务功能以及如何划分系统模块,同时分析了实时数据处理过程中的不足,包括存储过程中数据量敏感、存储成本高,数据采集与应用的频度相对固定、不易调整,数据丢失后,难以恢复等问题。其次,对目前基于多线程的实时数据处理系统进行了性能测试,性能测试包括基准测试,负载测试和持续性测试。重点分析了负载测试中实时数据的主要功能区单井检测页的健康度、最大响应时间、最小响应时间、平均响应时间以及响应错误码。由实验结果可知,由于采集及处理环节的复杂性,传统的多线程处理实时数据的方式导致了系统的响应速度会随着用户数的增加而变的很慢,为了加速数据处理和响应的实时速度,本文设计了一套基于Hadoop平台的实时数据处理及转换系统。最后,对比目前常见的几种保证数据完整性的算法,结合油气物联网系统中实时数据完整保护的需求,选用MD5算法进行实时数据分组,从而加快实时数据的处理速度并保证历史数据完整性,完成系统数据向上层的快速、准确传输。
【关键词】：油气生产 物联网 实时数据 大数据 数据完整性
【学位授予单位】：兰州理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TE4;TP391.44;TN929.5
【目录】：

• 摘要7-8
• Abstract8-11
• 第1章 绪论11-16
• 1.1 引言11
• 1.2 国内外研究现状11-12
• 1.3 课题来源项目介绍12-14
• 1.4 主要研究内容及章节安排14-16
• 第2章 油气物联网实时数据需求分析16-32
• 2.1 实时数据库的特征16-17
• 2.2 实时数据的组织及管理17-18
• 2.3 油气生产实时数据采集与传输18-21
• 2.3.1 SCADA系统19
• 2.3.2 油气生产实时数据流向19-21
• 2.4 实时数据存储形式21-22
• 2.5 主要应用服务功能22-23
• 2.5.1 数据统计服务22-23
• 2.5.2 自定义数据抽取23
• 2.6 性能测试结果及分析23-31
• 2.6.1 性能测试基础知识23-24
• 2.6.2 测试流程与数据准备24-26
• 2.6.3 基准测试26-27
• 2.6.4 负载测试27-29
• 2.6.5 持续性测试29-31
• 2.7 本章小结31-32
• 第3章 物联网实时数据分析平台设计32-40
• 3.1 实现目标32-33
• 3.2 大数据相关技术介绍33-35
• 3.2.1 MapReduce计算框架33-34
• 3.2.2 Hadoop分布式文件系统34-35
• 3.2.3 Redis内存数据库35
• 3.3 系统平台设计35-39
• 3.3.1 整体架构35-36
• 3.3.2 运行环境及角色分配细节36-37
• 3.3.3 Log日志处理37-38
• 3.3.4 定时调度38-39
• 3.4 本章小结39-40
• 第4章 实时数据处理程序的设计40-53
• 4.1 数据采集层设计40-42
• 4.1.1 基本描述40-41
• 4.1.2 获取标签类设计41
• 4.1.3 Mapper类设计41-42
• 4.1.4 Reducer类设计42
• 4.1.5 RedisClient类设计42
• 4.2 应用服务设计42-47
• 4.2.1 日数据转换43-44
• 4.2.2 告警转换44-45
• 4.2.3 执行流程45-46
• 4.2.4 转换规则算法46-47
• 4.3 历史数据完整性47-51
• 4.3.1 问题分析47
• 4.3.2 Hash 函数及 MD5 算法47-48
• 4.3.3 数据完整性检测48-49
• 4.3.4 测试结果分析49-51
• 4.4 实验执行结果51-52
• 4.5 本章小结52-53
• 总结与展望53-54
• 参考文献54-58
• 致谢58-59
• 附录A 攻读学位期间所参与的项目59

【相似文献】

中国期刊全文数据库 前10条

1 ;迎接物联网发展的新时代[J];中国安防;2010年06期

2 邵杰;;物联网给安防行业带来了新机遇[J];中国安防;2010年06期

3 ;中国物联网产业发展前景及发展路径[J];中国安防;2010年06期

4 郑健;;将安防物联网建设摆在“十二五”行业发展的重要地位[J];中国安防;2010年07期

5 牛娜;;物联网及其在石油行业的应用[J];信息与电脑(理论版);2010年09期

6 ;成都发布物联网规划 三年后有望实现智能交通[J];中国公共安全(综合版);2010年07期

7 陈桂香;;标准:物联网发展的基石[J];中国安防;2010年12期

8 武佳贺;周浩;宫俊峰;贾丽娟;;物联网在石油行业中的应用及展望[J];中国信息界;2011年07期

9 晏崇孟;;物联网新模式营销之我见[J];中国公共安全(综合版);2011年08期

10 刘毅;;智慧城市:开启物联网时代之门[J];中国公共安全(综合版);2011年05期

中国重要会议论文全文数据库 前10条

1 柯欣;;物联网的智慧从何而来[A];两化融合与物联网发展学术研讨会论文集[C];2010年

2 李晨熙;;物联网的发展状况与趋势[A];两化融合与物联网发展学术研讨会论文集[C];2010年

3 朱顺强;;中国物联网发展状况分析[A];中国通信学会2010年光缆电缆学术年会论文集[C];2010年

4 李文增;李拉;;对我国物联网产业进一步加快发展的对策研究[A];2010年度京津冀区域协作论坛论文集[C];2010年

5 曾跃;罗斌;周东晓;;关注物联网发展:冷静分析,务实前行[A];两化融合与物联网发展学术研讨会论文集[C];2010年

6 张金鑫;魏峻旭;;我国物联网发展现状研究[A];两化融合与物联网发展学术研讨会论文集[C];2010年

7 肖良颜;余翔宇;;广东省物联网建设和发展的思考[A];广东通信2010青年论坛优秀论文集[C];2010年

8 曹玉旺;张炎明;;浅析物联网下智慧城市的发展策略[A];融合与创新——中国通信学会通信管理委员会第29次学术研讨会论文集[C];2011年

9 陈卫国;;超级物联网:中国物联网发展第三条道路[A];新观点新学说学术沙龙文集47：物联网产业与区域经济发展[C];2010年

10 王继祥;;避免浮躁气息,求同存异推进物联网应用[A];新观点新学说学术沙龙文集47：物联网产业与区域经济发展[C];2010年

中国重要报纸全文数据库 前10条

1 本报记者 张煜;物联网：下一个经济增长点？[N];中国电子报;2009年

2 本报记者 魏刚;物联网：地球的神经元[N];北京科技报;2009年

3 本报通讯员 张前　本报记者 陈晓春;神奇物联网,大步走近我们的生活[N];新华日报;2009年

4 蔡玉高　刘巍巍;我国科研机构加紧研发物联网技术[N];人民邮电;2009年

5 记者 付秋实;物联网,危机催生的新技术[N];金融时报;2009年

6 朱小兵;物联网不可一阵风[N];计算机世界;2009年

7 本报记者 谷慧;物联网掘金潮:前夜突围[N];中国经营报;2009年

8 本报记者 张丽娅　陈薇亦 实习生 方卿;“物联网”生活令人憧憬[N];江苏经济报;2009年

9 工业和信息化部 通信科技委委员 侯自强;物联网仅仅才开始[N];计算机世界;2009年

10 本报记者 余建斌　整理 刘先云;物联网,智能改变生活[N];人民日报;2009年

中国博士学位论文全文数据库 前10条

1 董新平;物联网产业成长研究[D];华中师范大学;2012年

2 苏美文;物联网产业发展的理论分析与对策研究[D];吉林大学;2015年

3 邓雪峰;设施农业物联网系统建模与模型验证[D];中国农业大学;2016年

4 王峰;物联网数据处理若干关键问题研究[D];吉林大学;2016年

5 原旭;面向精细化种植的物联网数据处理方法研究[D];大连理工大学;2016年

6 喻涛;物联网感知终端及数据管理关键技术研究[D];武汉大学;2015年

7 郑欣;物联网商业模式发展研究[D];北京邮电大学;2011年

8 周明;物联网应用若干关键问题的研究[D];北京邮电大学;2014年

9 蒲海涛;物联网环境下基于上下文感知的智能交互关键技术研究[D];山东科技大学;2011年

10 孙运雷;物联网服务质量动态保障方法研究[D];北京邮电大学;2014年

中国硕士学位论文全文数据库 前10条

1 关勇;物联网行业发展分析[D];北京邮电大学;2010年

2 刘鹏程;物联网标准体系构建研究[D];北京交通大学;2011年

3 黄迪;物联网的应用和发展研究[D];北京邮电大学;2011年

4 曹自立;物联网产业发展的驱动因素研究[D];南京邮电大学;2012年

5 周桄召;我国物联网产业布局及对策研究[D];南京邮电大学;2012年

6 覃敏杰;物联网产业发展影响研究[D];北京邮电大学;2012年

7 程钰杰;我国物联网产业发展研究[D];安徽大学;2012年

8 唐力;物联网伦理问题探究[D];太原科技大学;2012年

9 宁金芳;从虚拟到实在：对物联网的哲学探究[D];中南大学;2012年

10 周洁;物联网环境下我国政府公共服务的研究[D];西南交通大学;2012年

，

本文编号：740712